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内 容 人 简介 

本 书 详细 曾 述 了 与 移动 设备 机 器 学 习 相 关 的 基本 解决 方案 ， 主 要 包括 面 同 移动 设备 的 机 器 学 习 应 用 程 
序 、 监督 学 习 和 无 监督 学 习 算 法 、iOS 上 的 随机 森林 、 在 Android 中 使 用 TensorFlow、 在 iOS 中 使 用 Core ML 
进行 回归 、ML Kit SDK、 垃 圾 邮件 检测 、Fritz、 移 动 设备 上 的 神经 网 络 、 使 用 Google Cloud Vision 的 移动 应 
用 程序 、 移 动 应 用 程序 上 机 器 学 习 的 未 来 等 内 容 。 此 外 ， 本 书 还 提供 了 相应 的 示例 、 代 码 ， 以 帮助 读者 进 一 
步 理 解 相关 方案 的 实现 过 程 。 

本 书 适合 作为 高 等 院 校 计算 机 及 相关 专业 的 教材 和 教学 参考 书 , 也 可 作为 相关 开发 人 员 的 自学 教材 和 参 
考 手册 。 
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译 者 订 


2019 年 的 夏天 ， 一 球 名 为 ZAO 的 App 刷 爆 了 网 络 ， 这 是 一 款 视 频 AI 换 脸 软件 ， 用 
户 可 以 通过 非 钊 简单 的 方式 ， 目 由 设置 腔 型 以 及 相关 的 细节 参数 ， 将 视频 中 的 人 脸 换 成 目 
己 ， 从 而 实现 自己 扮演 各 种 电影 或 电视 剧 角色 的 “梦想 ”。 这 确实 非常 有 趣 ， 因 为 它 可 以 
让 完全 不 知 移动 AI 应 用 程序 为 何 物 的 用 户 ， 轻 松 实 现年 龄 、 性 别 、 外 观 和 表情 等 一 系列 

虽然 ZAO 软件 因为 肖像 权 和 隐私 数据 采集 等 问题 引起 了 很 大 的 争议 ， 但 是 它 却 让 面 
器 移 动 设 备 的 机 器 学 习 进 入 了 人 和信 们 的 视野 ， 成 为 让 开发 人 员 眼 前 一 腕 的 新 热点 。 绝 大 多 数 
机 妖 学 习 实 现 方 法 寅 要 经 过 采集 数据 、 利 用 采集 的 数据 来 训练 模型 、 使 用 该 模型 进行 预测 
这 3 个 步 又， 一般 认为 ， 在 计算 和 存储 资源 相对 党 限 的 移动 设备 上 ， 较 难 执行 这 些 步骤 ， 
特别 是 训练 过 程 ， 需 要 耗费 非常 多 的 计算 资源 。 但 是 ， 目 前 这 种 局 面 已 经 有 所 改变 ， 因 为 
现在 有 很 多 机 器 学 习 云 服务 提供 商 ， 可 以 提供 经 过 训练 的 模型 ， 这 意味 看 用 户 完 全 可 以 在 
对 机 器 学 习 知 之 甚 少 的 情况 下 去 构建 出 一 个 支持 机 器 学 习 的 应 用 程序 。 本 书 第 1 章 即 详细 
介绍 了 在 移动 设备 上 进行 机 器 学 习 的 各 种 方法 和 工具 。 

随 痢 移动 设备 便 件 制造 商 不 断 进 行 的 突破 性 创新 《〈 例 如， 华为 Mate 系列 手机 内 置 了 
神经 网 络 处 理 单 元 ) ， 移 动 操 作 系统 供 应 商 对 于 机 器 学 习 算法 的 优化 ， 以 及 第 三 方 移动 机 
器 学 习 SDK 的 不 断 涌现 ， 面 同 移 动 设备 的 机 器 学 习 应 用 程序 将 日 益 成 为 创新 的 热点 。 例 
如 ， 本 书 第 9 章 创建 的 图 像 识 别 App 就 是 一 个 很 有 趣 的 程序 ， 它 可 以 提供 手机 拍摄 的 食物 
的 热量 值 ， 这 对 于 酷爱 健身 人 士 和 减肥 者 应 该 是 一 个 很 有 吸引 力 的 卖点 。 

总 之 ， 这 种 可 以 离线 工作 的 移动 机 堪 学 习 程 序 ， 将 会 涌现 巨大 的 市 场 机 会 和 全 新 的 业 
务 类 别 ， 并 由 此 众生 出 欢 多 创新 实用 的 移动 应 用 程序 。 这 种 创新 的 可 能 性 是 无 限 的 ， 而 对 
于 有 兴趣 从 事 该 领域 App 开发 的 开发 人 员 来 襄 ， 则 意味 看 无 限 的 机 会 。 

本 书 对 面 同 移动 设备 的 机 器 学 习 目 前 阶段 的 发 展 进行 了 非常 清晰 的 介绍 ， 并 提供 了 大 
量 算 法 和 实际 应 用 程序 的 示例 。 本 书 深 入 研究 了 各 种 监督 学 习 和 无 监督 学 习 算法 ， 例 如 朴 
素 贝 叶 斯 、 决 策 树 、 随 机 森林 、 文 持 同 量 机 〈SVM) 、 聚 类 、 关 联 规则 每， 并 详细 痢 述 
了 TensorFlow Lite、Core ML、ML Kit、Fnitz 等 工具 和 平台 ， 通 过 实例 介绍 了 目 然 语言 处 
理 (NLP) 和 神经 网 络 、Keras 及 Google Cloud Vision 标签 检测 技术 等 内 容 ， 是 对 面 同 移 
动 设 备 的 机 器 学 习 应 用 程序 的 开发 感 兴趣 的 读者 理想 的 读物 。 


"a 面向 移动 设备 的 机 器 学 习 


在 翻译 本 书 的 过 程 中 ， 为 了 更 好 地 帮助 读者 理解 和 和 学习 ， 本 书 以 中 英文 对 照 的 形式 保 
留 了 大 量 的 术语 ， 这 样 的 安排 不 仅 方便 读者 理解 书 中 的 代码 ， 而 且 也 有 助 于 读者 查找 和 利 
用 本 书 配套 网 站 上 的 资源 。 

本 书 由 武海 车 翻译 ， 马 宏 华 、 唐 盛 、 郝 艳 杰 、 呐 水 强 、 陈 叫 、 呐 刚 、 呐 进 育 、 瑟 爱 华 
等 参与 了 程序 测试 和 资料 整理 等 工作 。 由 于 详 者 水 平 有 限 ， 错 漏 之 处 在 所 难免 ， 在 此 城 擎 
欢迎 读者 提出 任何 意见 和 建议 。 


| 


且 = 


本 书 将 通过 简单 的 实际 示例 帮助 读者 开发 面 同 移动 设备 的 机 器 学 习 应 用 程序 。 读 者 将 
从 了 解 机 器 学 习 的 基础 知识 开始 ， 到 通读 本 书后 ， 将 对 什么 是 面 同 移动 设备 的 机 器 学 习 以 
及 可 用 于 实现 移动 设备 机 器 学 习 的 工具 /SDK 有 很 好 的 了 解 , 并 且 也 将 能 够 实现 可 以 在 10S 
和 Android 上 运行 的 移动 应 用 程序 中 的 各 种 机 器 学 习 算 法 。 

读者 将 理解 什么 是 机 器 学 习 ， 什 么 力量 在 推动 面 同 移动 设备 的 机 器 学 习 ， 以 及 面 同 移 
动 设备 的 机 器 学 习 的 独特 性 。 将 接触 到 所 有 移动 设备 机 器 学 习 工 具 和 SDK: TensorFlow 
Lite、Core ML、ML Kit 和 Fritz。 本 书 将 探讨 每 个 工具 箱 的 高 级 体系 结构 和 组 件 。 到 本 书 
结尾 ， 读 者 将 对 机 器 学 习 模型 有 广泛 的 了 解 ， 并 能 够 执行 设备 上 的 机 器 学 习 。 也 将 深入 了 
解 机 器 学 习 算法 ， 例 如 回归 、 分 类 、 线 性 支持 同 量 机 (SVM) 和 随机 森林 等 。 而 且 将 学 习 
如 何 进行 目 然 语言 处 理 以 及 实现 垃圾 邮件 检测 。 最 后 ， 将 了 解 如 何 将 使 用 Core ML 和 
TensorFlow 创建 的 现 有 模型 转换 为 Fritz 模型 。 本 书 还 讨论 了 神经 网 络 ， 以 及 机 器 学 习 的 未 
来 。 本 书 最 后 还 包含 一 个 “常见 问题 解答 ”形式 的 附录 ， 回 答 了 读者 可 能 对 移动 设备 的 机 
器 学 习 所 产生 的 疑问 。 

本 书 将 帮助 读者 构建 一 个 有 趣 的 健康 饮食 应 用 程序 ， 该 应 用 程序 可 以 提供 相机 捕获 的 
食物 的 热量 值 ， 它 在 1OS 和 Android 系统 中 均 可 以 运行 。 


本 书 适合 的 读者 


如 果 你 是 汐 望 使 用 机 器 学 习 并 在 移动 设备 和 乔 能 设备 上 使 用 机 妖 学 习 的 移动 开 友 人 
员 或 机 器 学 习 用 户 ， 则 本 书 非 党 适合 你 。 如 果 你 拥有 机 器 学 习 的 基础 知识 和 移动 应 用 程序 
开 及 的 初级 经 验 ， 那 更 是 再 好 不 过 了 。 


本 书 内 容 综 述 


第 1 章 “ 面 向 移动 设备 的 机 器 学 习 应 用 程序 ”， 解 释 了 什么 是 机 器 学 习 以 及 为 什么 要 


IV. 面 加 移动 设备 的 机 器 学 习 


在 移动 设备 上 使 用 机 器 学 习 ， 还 介绍 了 机 器 学 习 的 不 同方 法 及 其 优 缺 点 。 

第 2 章 “ 监 督学 习 和 无 监督 学 习 算 法 ”， 详 细 曾 述 了 机 器 学 习 算 法 中 的 有 监督 和 无 监 
督 两 种 方式 。 本 章 深 入 研究 了 不 同 的 监督 学 习 和 无 监督 学 习 算 法 ， 如 杆 系 贝 叶 斯 、 决 策 树 、 
SVM、 聚 类 、 关 联 规则 等 。 

第 3 章 “iOS 上 的 随机 森林 ”， 深 入 介绍 了 随机 森林 和 决策 树 ， 并 说 明了 如 何 应 用 它 
们 解决 机 器 学 习 问 题 。 我 们 还 将 使 用 随机 和 森林 算法 创建 一 个 应 用 程序 来 诊断 乳 甩 冶 。 

第 4 章 “ 在 Android 中 使 用 TensorFlow”， 详 细 阐 述 了 针对 移动 设备 的 TensorFlow， 
即 TensorFlow Lite。 我 们 还 曾 释 了 移动 机 器 学 习 应 用 程序 的 体系 结构 ， 并 使 用 了 Android 
中 的 TensorFlow 来 编写 应 用 程序 。 

第 5 章 “ 在 1OS 中 使 用 Core ML 进行 回归 ”， 探 讨 了 回归 算法 和 Core ML， 并 展示 了 
如 何 应 用 它 来 解决 机 器 学 习 问 题 。 我 们 将 使 用 scikit-leam 创建 一 个 应 用 程序 来 预测 房价 。 

第 6 章 ML Kit SDK, 探讨 了 ML Kit 及 其 优点 。 我 们 将 使 用 ML Kit 以 及 设备 和 云 API 
创建 一 些 图 像 标 答应 用 程序 。 

第 7 半 “ 垃 圾 邮件 检测 ”， 详 细 曾 述 了 目 然 语言 处 理 (NLP) 和 SVM 算法 。 我 们 将 
解决 批量 短信 的 处 理 问题 ， 即 检查 邮件 是 否 为 垃圾 邮件 。 

第 8 章 Fritz， 深 入 介绍 了 面向 移动 设备 的 机 器 学 习 平 台 Fritz。 我 们 将 在 1OS 中 使 用 
Fritz 和 Core ML 创建 一 个 应 用 程序 。 本 章 还 详细 介绍 了 如 何 将 Fnitz 与 前 面 创建 的 示例 数 
据 集 一 起 使 用 。 

第 9 草 “ 移 动 设备 上 的 神经 网 络 ”， 详 细 曾 述 了 神经 网 络 、Keras 及 其 在 移动 机 器 学 
习 领 域 中 的 应 用 的 概念 。 本 章 还 创建 了 一 个 应 用 程序 来 识别 手写 数字 ， 并 且 还 创建 了 一 个 
TensorFlow 图 像 识别 模型 。 

第 10 章 “ 使 用 Google Cloud Vision 的 移动 应 用 程序 ”， 详 细 介 绍 了 Android 应 用 程序 
中 的 Google Cloud Vision 标签 检测 技术 ， 以 确定 相机 拍摄 的 照片 中 的 内 容 。 

第 11 章 “ 移 动 应 用 程序 上 机 器 学 习 的 未 来 ”， 人 介绍 了 主要 的 机 峰 学 习 移动 应 用 程序 
和 重点 创新 领域 以 及 它们 为 利益 相关 者 提供 的 机 会 。 

附录 A“ 问 题 与 答案 ”设想 了 一 些 读者 可 能 思考 过 的 问题 ， 并 尝试 提供 了 与 该 领域 相 
关 的 问题 的 答案 。 


充分 利用 本 书 


要 充分 利用 本 书 ， 读 者 需要 具备 一 些 关 于 机 器 学 习 、Android Studio 和 Xcode 等 方面 
的 基础 知识 。 
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下 载 示 例 代码 文件 


读者 可 以 从 www.packt.com 下 载 本 书 的 示例 代码 文件 ， 有 具体 步骤 如 下 。 
(1) 登录 或 注册 www.packt.com。 
(2) 选择 Support (支持 〉 选 项 卡 。 
(3) 单 击 Code Downloads&Errata (代码 下 载 和 勘误 表 ) 。 


(4) 在 Search 〈 搜 索 ) 框 中 输入 图 书 名 称 Machine Learning for Mobile， 人 然后 按 屏幕 
上 的 提示 操作 。 
下 载 文件 后 ， 请 确保 使 用 下 列 最 新 版 本 的 软件 解压 缩 或 提取 文件 夹 
口 WinRAR/7-Zip (Windows 系统 ) 。 


口 Zipeg/iZip/UnRarX (Mac 系统 ) 。 

口 7-Zip/PeaZip (Linux 系统 ) 。 

该 书 的 代码 包 也 已 经 在 GitHub 上 托管 ， 网 址 如 下 : https://github.com/PacktPublishing/ 
Machine-Leaming-for-Mobile。 如果 代码 有 更 新 , 那么 它 将 在 现 有 的 GitHub 存储 库 中 进行 更 新 。 

我 们 还 提供 了 丰富 的 书籍 和 视频 目录 中 的 其 他 代码 包 ， 可 从 网 站 https://github.com/ 
PacktPublishing/ 上 下 载 。 


下 载 彩 色 图 像 
我 们 还 提供 了 一 个 PDF 文件 ， 其 中 包含 本 书 中 使 用 的 屏幕 截图 /图 表 的 彩色 图 像 ， 其 


链接 地 址 如 下 。 
https://www.packtpub.com/sites/default/files/downloads/97817886293535S ColorImages.pdft 


本 书 约定 


本 书 将 可 以 看 到 许多 区 分 不 同类 型 信息 的 文本 样式 。 以 下 是 这 些 样式 的 一 些 示 例 以 及 
对 它们 的 含义 的 解释 。 


“WE 面向 移动 设备 的 机 器 学 习 
名 、 路 径 名 、 虚 拟 URL、 用 户 输入 和 Twitter 句柄 等 。 以 下 段落 就 是 一 个 示例 。 
当 应 用 程序 反 序 列 化 (Deserialize) Core ML 模型 时 ， 它 将 成 为 具有 Prediction 
方法 的 对 象 。Core ML 并 不 是 真正 用 于 训练 ， 而 只 是 用 于 运行 预 训练 的 模型 。 
(2) 代码 块 显示 如 下 。 
# 导入 必需 的 软件 包 


import numpy as np 


import pandas as pd 


(3) 当 我 们 希望 引起 你 对 代码 块 特定 部 分 的 注意 时 ， 相 关 的 行 或 项 目 将 以 粗 体 显示 。 


上 读 入 并 解析 数据 
raw data = open('SMSSpamCollection.txt', ‘'r') 
sms data = [] 


for line in raw data: 
split line = line.split(™\t") 
sms data.append (split line) 


(4) 任何 命令 行 输 入 或 输出 部 及 用 如 下 所 示 的 粗 体 代 码 形式 。 


Pip install scikit-learn 
Pip install numpy 

Pip install coremltools 
Pip install pandas 


(5) 新 术语 和 重要 单词 以 粗 体 显 示 ， 并 提供 了 中 英文 对 照 的 形式 。 


Core ML 是 特定 领域 的 框架 和 功能 的 基础 。 例 如 ，Core ML 为 Vision 提供 了 图 像 处 理 
的 文 持 ， 为 Foundation 提供 了 自然 语言 处 理 (Natural Language Processing， 
NLP) 的 支持 (例如 NSLinguisticTagger 类 ) ,为 GameplayKit 提供 了 对 学 习 决 策 
树 (Learned Decision Tree) 进行 分 析 的 支持 。 


入 图 标 旁边 的 文字 表示 警告 或 重要 的 信息 . 
该 图 标 旁边 的 文字 表示 提示 或 技巧 。 
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我 们 生活 在 移动 应 用 程序 的 世界 中 ， 它 们 已 经 成 为 日 常生 活 中 不 可 或 缺 的 一 部 分 ， 
因此 很 少 有 人 去 关注 它们 背后 的 数字 (这 些 数字 包括 它们 的 收入 、 业 务 的 实际 市 场 规 模 
以 及 可 推动 移动 应 用 程序 增长 的 定量 数据 ) 。 不 妨 来 看 一 看 下 面 这 些 数字 。 

口 根据 《和 福布斯》 预测， 到 2020 年 ， 移 动 应 用 程序 收入 将 达到 1890 亿 寺 元 。 

口 全 球 智能 手机 应 用 安装 基数 正在 成 倍增 加 ， 因 此 ， 从 安装 在 其 上 的 应 用 程序 获 

得 的 收入 也 在 以 惊人 的 速度 增长 。 

现在 ， 移 动 设备 和 服务 已 经 成 为 人 们 娱乐 和 商务 生活 以 及 通信 的 枢纽 。 智 能 手机 已 
取代 个 人 电脑 ， 成 为 最 重要 的 智能 连接 设备 。 移 动 创新 、 新 业务 模式 和 移动 技术 正在 深 
刻 地 改变 看 人 们 的 生活 。 

接 下 来 ， 再 聊 一 聊 机 器 学 习 (Machine Learming) 。 为 什么 最 近 机 器 学 习 会 芝 过 发 展 
呢 ? 机 器 学 习 并 不 是 一 门 新 学 科 , 它 在 20 年 前 就 已 经 存在 了 , 为 什么 现在 突然 成 为 焦点 ， 
以 至 于 每 个 人 都 在 谈论 它 ? 原因 很 简单 : 数据 爆炸 。 社 区 了 网络 和 移动 设备 使 用 户 数据 的 
生成 前 所 未 有 。 十 年 前 ， 你 不 会 像 今天 那样 将 图 像 上 传 到 云 中 ， 因 为 当时 的 手机 普及 率 
无 法 与 今天 相 比 。4G 乃至 SG 连接 使 得 实时 的 视频 数据 点 播 (Video Data On-demand， 
VDO) 成 为 可 能 ， 因 此 这 意味 痢 越 来 越 多 的 数据 正 以 前 所 未 有 的 速度 在 全 世界 运行 。 预 
计 下 一 个 时 代 将 是 物 联 网 (Internet of Things，IoT) 时 代 ， 届 时 将 有 更 多 基于 数据 传感器 

所 有 这 些 数据 只 有 在 我 们 可 以 正确 使 用 、 获 取 可 为 我 们 市 来 价值 的 见解 以 及 市 来 看 
不 见 的 数据 模式 (提供 新 的 业务 机 会 ) 的 情况 下 才 有 价值 。 因 此 ， 要 做 到 这 一 点 ， 机 器 
学 习 是 解锁 每 天 堆积 的 大 量 数据 中 存储 的 价值 的 正确 工具 。 

所 以 ， 显 然 现 在 是 成 为 移动 应 用 程序 开发 人 员 的 好 时 机 ， 也 是 成 为 机 器 学 习 数 据 科 
学 家 的 好 时 机 。 但 是 ， 如 果 能 够 将 机 器 学 习 的 力量 融入 移动 设备 ， 开 发 出 善 用 机 器 学 习 
威力 的 真正 实用 的 移动 应 用 程序 ， 那 会 是 非常 令 人 兴 否 的 成 果 。 这 束 是 在 本 书 中 要 委 试 
的 工作 : 同 移 动 应 用 程序 开发 人 员 提 供 有 关机 器 学 习 基 础 的 见解 ， 为 他 们 提供 各 种 机 器 
学 习 算法 和 面向 移动 设备 的 机 器 学 习 SDK/ 工 具 ， 并 帮助 他 们 使 用 这 些 SDK/ 工 具 开 发 出 
强大 的 可 在 移动 设备 上 运行 的 机 器 学 习 应 用 程序 。 

移动 领域 的 机 器 学 习 是 移动 开 友 人 员 必 须 正 确 理解 的 关键 创新 领域 ， 因 为 它 正 在 改 
变 用 户 可 视 化 和 利用 移动 应 用 程序 的 方式 。 那 么 ， 机 器 学 习 如 何 才 能 让 移动 应 用 程序 脱 


sD). 


面向 移动 设备 的 机 器 学 习 


胎 换 骨 ， 并 将 其 转换 为 任何 用 户 都 梦乡 以 求 的 应 用 程序 呢 ? 下 面 的 示例 帮助 读者 大 致 了 
解 机 器 学 习 可 以 为 移动 应 用 程序 做 什么 。 


UD 


Facebook 和 YouTube 移动 应 用 程序 使 用 机 妖 学习 一 一 它们 的 “推荐 内 容 ” 或 “你 
可 能 认识 的 人 ”都 采用 了 机 口 学 习 算 法 。 

Apple 和 Google 会 读 取 每 个 用 户 的 行为 或 他 们 的 用 词 ， 并 在 此 基础 上 推荐 适合 
该 用 户 打 字 风 格 的 词句 。 它 们 已 经 在 10S 和 Android 设备 中 实现 了 此 功能 。 
Oval Money 可 分 析 用 户 先 前 的 交易 ， 并 为 他 们 提供 不 同 的 方式 来 避免 额外 的 支出 。 
Google Maps 正在 使 用 机 器 学 习 来 使 你 的 生活 更 轻松 。 

Django 使 用 机 器 学 习 来 解决 问题 ， 以 找到 完美 的 表情 符号 。 它 是 一 个 浮动 助手 ， 
可 以 集成 到 不 同 的 即时 通信 应 用 程序 中 。 


机 器 学 习 可 以 应 用 于 属于 任何 领域 的 移动 应 用 程序 ， 包 括 医 疗 保健 、 金 融 、 洲 戏 、 
通信 或 阳光 下 的 任何 东西 ， 因 此 ， 我 们 需要 了 解 机 器 学 习 的 全 部 意义 。 
本 章 将 讨论 以 下 主题 。 


OODODD 


什么 是 机 器 学 习 ? 

什么 时 候 适 合 使 用 机 器 学 习 完 成 解决 方案 ? 
机 器 学 习 的 类 别 。 

机 器 学 习 中 的 关键 算法 。 


实现 机 器 学 习 所 需 遵 循 的 过 程 。 
众所周知 的 一 些 机 器 学 习 关 键 概 念 。 
实现 机 需 学 习 的 挑战 。 

为 什么 在 移动 应 用 程序 中 使 用 机 器 学 习 ? 
在 移动 应 用 程序 中 实现 机 右 学 习 的 方法 。 


1.1 机 器 学 习 的 定义 


机 器 学 习 专注 于 编写 可 以 学 习 过 去 的 经 验 的 软件 。 卡 内 基 梅 隆 大 学 CMU) 教授 汤 
姆 。 米 切 尔 ‘Tom Mitchell) 给 出 的 机 器 学 习 的 标准 定义 之 一 如 下 。 

机 器 学 习 计 算 机 程序 是 从 经 验 (Experience) E 中 学 习 有 关 某 类 任务 (Task) T 进行 
某 一 性 能 变量 (Performance Measure) P 的 信息 ， 通 过 了 测定 在 T 上 的 表现 随 经验 EE 的 

例如 ， 学 习 国 际 象 模 的 计算 机 程序 可 能 会 通过 对 上 自己 下 棋 的 经 验 的 总 结 来 提高 其 性 
能 ， 这 可 以 通过 在 涉及 国际 象棋 的 任务 类 别 中 获胜 的 能 力 来 衡量 。 一 般 来 说 ， 要 定义 一 


第 1 章 ”面向 移动 设备 的 机 器 学 习 应 用 程序 “3. 


个 明确 的 学 习 问 题 ， 必 须 确定 任务 的 类 别 、 要 改进 性 能 的 测量 标准 以 及 经 验 的 来 源 。 以 
一 个 象棋 学 习 问 题 为 例 ， 它 包括 任务 、 绩 效 评估 和 训练 经 验 ， 其 中 : 
口 任务 工 是 下 棋 。 
口 ”绩效 指标 P 是 与 对 手下 棋 的 获胜 百分比 。 
口 ”训练 经 验 EE 是 与 自己 下 棋 的 程序 。 
简 而 言 之 ， 如 果 计 算 机 程序 能 够 借助 先前 的 经 验 来 改进 其 执行 任务 的 方式 ， 那 么 就 
知道 计算 机 已 经 学 习 到 该 方式 了 。 这 种 场景 (Scenario) 与 传统 的 可 以 执行 特定 任务 的 程 
序 有 很 大 的 不 同 ， 因 为 传统 程序 已 经 由 程序 员 定义 了 所 有 参数 并 提供 了 执行 此 操作 所 需 
的 数据 。 传 统 程序 也 可 以 执行 下 象棋 的 任务 ， 那 是 因为 程序 员 已 经 编写 了 具有 内 置 获 胜 
策略 的 下 象棋 的 代码 。 但 是 ， 机 器 学 习 程 序 却 不 具有 这 样 的 内 置 策略 。 实 际 上 ， 它 只 有 
一 套 合乎 游戏 中 棋 规 的 着 法 规则 以 及 赢 棋 的 场景 。 在 这 种 情况 下 ， 机 器 学 习 程序 需要 通 
过 反复 玩 游戏 来 学 习 ， 直 到 可 以 取胜 为 止 。 
机 器 学 习 是 人 否 适 用 于 所 有 场景 ? 我 们 究竟 应 该 什么 时 候 让 机 器 学 习 而 不 是 直接 使 用 
指令 对 机 器 进行 编程 以 执行 任务 ? 
机 器 学 习 系 统 并 不 是 基于 知识 的 系统 。 在 基于 知识 的 系统 中 ， 我 们 可 以 直接 使 用 知 
识 来 整理 所 有 可 能 的 规则 以 推理 出 解决 方案 。 当 指令 的 编纂 不 是 很 简单 时 ， 我 们 便 进 行 
机 器 学 习 。 机 器 学 习 程 序 在 以 下 场景 下 将 更 适用 。 
口 “ 很 难 编程 的 非常 复杂 的 任务 。 有 一 些 人 类 执行 的 日 常任 务 ， 例 如 ， 说 话 、 驾 驶 、 
看 到 并 认 出 事物 、 品 尝 食 物 、 观 察 事物 并 给 它们 分 类 等 ， 这 对 我 们 来 说 似乎 很 
简单 。 但 是 ， 我 们 并 不 知道 自己 的 大 脑 是 如 何 连 接 感知 或 编程 的 ， 或 者 需要 定 
义 什么 规则 才能 无 颖 地 执行 所 有 这 些 操作 ， 为 此 可 以 创建 一 个 程序 来 复制 这 些 
动作 。 通 过 机 器 学 习 可 以 执行 其 中 的 某 些 任务 ， 虽 然 可 能 达 不 到 人 类 所 能 达到 
的 程度 ， 但 是 机 器 学 习 在 这 里 具有 巳 大 的 潜力 。 

口 处理 大 量 数 据 的 非常 复杂 的 任务 。 有 些 任务 包括 分 析 大 量 数据 并 找到 隐藏 的 模 
式 ， 或 者 在 数据 中 提出 新 的 相关 性 ， 这 是 人 类 不 可 能 做 到 的 。 机 器 学 习 对 于 获 
得 人 类 匪夷所思 的 任务 解决 方案 很 有 帮助 ， 并 且 由 于 各 种 解决 方案 的 可 能 性 ， 
其 本 质 上 是 如 此 复杂 ， 以 至 于 人 类 无 法 确定 解决 方案 。 

口 ”适应 环境 和 数据 的 变化 。 用 一 组 指令 硬 编码 的 程序 无 法 适应 不 断 变 化 的 环境 ， 
也 无 法 扩展 到 新 坏 境 ， 而 这 两 者 都 可 以 使 用 机 器 学 习 程 序 来 实现 。 

的 提示 : 

机 器 学 习 是 一 门 艺术 ， 专 门 研究 机 器 学 习 的 数据 科学 家 需要 具有 多 种 技能 的 组 合 ， 
例如 数学 、 统 计 学 、 数 据 分 析 、 工 程 学 、 创 意 艺 术 、 会 计 学 、 神 经 科学 、 认 知 科 学 和 经 
济 学 等 。 他 需要 先 成 为 一 名 样 样 精 通 的 万 能 博士 ， 然 后 才 是 一 个 机 器 学 习 方面 的 大 师 。 
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1.2 机 器 党 习 过 程 


机 器 学 习 过 程 是 一 个 迭代 过 程 ， 它 不 能 一 口气 完成 。 机 器 学 习 解 决 方案 要 执行 的 最 
重要 的 活动 如 下 。 

(1) 定义 机 器 学 习 问 题 〈 必 须 明 确定 义 ) 。 

(2) 收集、 准备 和 增强 所 需 的 数据 。 

(3) 使 用 该 数据 构建 模型 。 此 步骤 循环 进行 ， 并 涵盖 以 下 各 个 子 步 又。 有 时 ， 它 也 
可 能 要 求 重新 进行 上 述 步 又 (2) ， 甚 至 需要 重新 定义 问题 说 明 。 

DD ”选择 适当 的 模型 /机 器 学 习 算 法 。 

口 在 训练 数据 上 训练 机 器 学 习 算 法 并 建立 模型 。 

D 测试 模型 。 

”评估 结果 。 

口 ”继续 此 阶段 ， 直 到 评估 结果 令 人 满意 并 确定 模型 。 

(4) 使 用 最 终 模型 对 问题 陈述 (Problem Statement) 进行 将 来 的 预测 。 

整个 过 程 涉 及 4 个 主要 步骤 ， 这 些 步骤 是 从 代 和 重复 的 ， 直 全 达到 目标 为 止 。 我 们 
将 在 以 下 各 节 中 详细 介绍 每 个 步骤 。 如 图 1-1 所 示 就 是 对 上 述 过 程 的 图 形 化 整理 , 它 将 有 
助 于 对 其 进行 详细 的 研究 。 


Build the Model 


select Appropriate ML algorithm 


Train Model \ Retrain 
phase till 


Test lvlodel objective 
is reached 


Evaluate lvlodel 


Deploy Modelto make future 
predictions 


图 1-1 
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原 文 译 文 
Define the machine leaming problem 定义 机 器 学 习 问 题 
Prepare the Data 准备 数据 
Build the Model 建立 模型 
Select Appropriate ML algorithm 选择 适当 的 机 器 学 习 算 法 
Train Model 训练 模型 
Test Model 测试 模型 
Evaluate Model 评估 模型 
Deploy Model to make future predictions 部 署 模型 以 做 出 对 未 来 的 预测 
Retrain phase tll objective 1s Teached 重新 训练 直至 达到 目标 


1.2.1 定义 机 器 学 习 问 题 


根据 汤姆 。 米 切 尔 的 定义 ， 该 问题 必须 是 定义 明确 的 机 器 学 习 问 题 。 在 此 阶段 要 解 
决 以 下 3 个 重要 问题 。 

口 ” 我 们 有 正确 的 问题 吗 ? 

口 我 们 有 正确 的 数据 吗 ? 

口 我 们 有 正确 的 成 功 标准 吗 ? 

问题 应 该 是 这 样 的 : 要 解决 的 问题 所 得 到 的 结果 对 于 企业 来 说 是 有 价值 的 。 应 该 有 
足够 的 历史 数据 可 用 于 学 习 / 训 练 。 目 标 应 该 是 可 衡量 的 ， 我 们 应 该 在 任何 时 间 点 上 知道 
己 经 实现 了 多 少 目标 。 

例如 ， 如 果 能 从 一 组 在 线 交 易 中 识 别 出 欺 诈 交 易 ， 那 么 确定 此 类 欺诈 交易 绝对 会 对 
企业 有 价值 。 我 们 需要 有 足够 多 的 在 线 交 易 数 据 集 ， 也 应 该 有 一 组 属于 各 种 欺诈 类 别 的 
交易 数据 集 。 我 们 还 应 该 有 一 种 机 制 来 确定 是 否 可 以 对 预测 为 欺诈 或 非 其 诈 交 易 的 结果 
进行 验证 和 确认 ， 以 确保 预测 的 准确 性 。 


的 提示 

完 竟 需要 多 少数 据 才 算是 “足够 ”实现 机 器 学 习 ? 这 个 概念 ， 对 于 初始 训练 程序 
( Starter ) 而 言 ， 至 少 需要 有 100 个 项 目的 数据 集 ， 而 如 果 有 1000 个 数据 集 则 更 好 。 拥 
有 的 数据 越 多 ， 可 以 涵盖 问题 领域 的 现实 场景 越 多 ， 则 对 于 学 习 算 法 而 言 就 越 好 。 


1.2.2 ”准备 数据 
数据 准备 活动 是 学 习 解 决 方案 成 功 的 关键 。 数 据 是 机 器 学 习 所 需 的 关键 实体 ， 必 须 
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正确 准备 数据 以 确保 获得 正确 的 最 终结 朱 和 目标 。 


的 提示 ， 


数据 工程 师 在 数据 准备 阶段 通常 需要 花费 大 约 总 体 时 间 的 809%6 一 90%p 来 获取 正确 的 
数据 ， 因 为 这 对 于 成 功 实 现 机 器 学 习 程 序 是 至 关 重 要 的 ， 它 也 是 最 关键 的 任务 。 


为 了 准备 数据 ， 需 要 执行 以 下 操作 。 

(1) 识别 所 有 数据 源 。 我 们 需要 识别 所 有 可 以 解决 当前 问题 的 数据 源 ， 并 从 文件 、 
数据 库 、 电 子 邮件 、 移 动 设 备 、 互 联网 等 多 个 源 中 收集 数据 。 

(2) 探索 数据 。 此 步骤 涉及 理解 数据 的 性 质 ， 如 下 所 示 。 


UD 
UD 
口 
U 
口 


加 


加 


了 解数 据 的 特征 (Characteristics ) 和 性 质 (Nature) 。 

浏览 数据 实体 之 间 的 关联 。 

识别 离 群 值 (Outliers〉。 离 群 值 将 有 助 于 识别 数据 中 的 不 寻常 的 问题 。 

应 用 各 种 统计 原理 , 例如 计算 中 位 数 (Median)、 平 均值 (Mean)、 众 数 (Mode)、 
极 关 (Range ) 和 标准 偏 过 (Standard Deviation ) ， 以 得 出 数据 偏 度 (Data 
Skewness) ， 这 将 有 助 于 理解 数据 的 性 质 和 分 布 (Spread) 。 

如 果 数 据 有 偶 甜 ， 或 者 如 果 我 们 看 到 极 差 的 值 在 预期 边界 之 外 ， 则 可 以 知道 该 
数据 有 问题 ， 因 此 需要 重新 访问 该 数据 源 。 

通过 图 表 对 数据 进行 可 视 化 还 将 有 助 于 理解 数据 的 分 布 和 质量 。 


(3) 预 处 理 数 据 。 此 步骤 的 目标 是 创建 可 用 于 下 一 步 格式 的 数据 : 


UD 


数据 清理 。 

> 解决 缺失 的 值 。 推 算 缺 失 值 的 常用 策略 是 用 平均 值 或 中 位 数 葵 换 缺失 值 。 
定义 荃 换 缺失 值 的 案 略 很 重要 。 

> ”处 理 重 复 值 、 无 效 数据 、 不 一 致 数据 、 离 群 值 等 。 

特征 〈Feature) 选择 。 选 择 最 适合 当前 问题 的 数据 特征 。 删 除 多 余 或 不 相关 的 

特征 将 简化 该 过 程 。 

特征 转换 。 此 阶段 将 数据 从 一 种 格式 映射 到 另 一 种 格式 ， 这 将 有 助 于 继续 进行 

机 器 学 习 的 下 一 步 。 这 涉及 规范 化 (Normalize) 数据 和 降 维 (Dimensionality 

Reduction) 。 有 具体 方法 是 将 各 种 特征 组 合 为 一 个 特征 或 创建 新 特征 ， 例 如 ， 假 

设 将 日 期 和 时 间作 为 属性 (Attribute) ， 那 么 将 它们 转换 为 一 周 中 的 某 天 、 某 月 

的 茶 天 和 菏 年 将 更 有 意义 ， 这 将 提供 更 有 意义 的 见解 。 

> ”创建 一 个 变量 与 男 一 个 变量 的 华 卡 儿 积 (Cartesian Products) 。 例 如 ， 如 果 
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有 两 个 变量 ， 分 别 是 人 口 密度 〈 数 学 、 物 理学 和 商业 ) 和 性 别 〈 女 和 男 ) ， 
则 这 两 个 变量 的 香 卡 儿 积 所 形成 的 特征 可 能 包含 有 用 的 信息 ， 从 而 产生 诺 
如 (maths girls、 physics girls、 commerce girls、 maths boys、 physics boys 
和 commerce boys) 之 类 的 特征 。 

> “将 数字 变量 绑 定 到 类 别 。 例 如 ， 辟 部 / 屑 膀 的 大 小 值 可 以 归 类 为 小 、 中 、 大 
和 特大 等 类 别 。 

> ”特定 领域 的 特征 ， 例 如 ， 将 科目 数学 、 物 理 和 化 学 结合 到 一 个 数学 组 ， 将 
物理 、 化 学 和 生物 学 结合 到 一 个 生物 学 组 。 

(4) 将 数据 分 为 训练 集 (Training Set) 和 测试 集 (Test Set) 。 数 据 转换 之 后 ， 需 要 
选择 所 需 的 测试 集 和 训练 集 。 在 训练 数据 集 上 对 算法 进行 训练 后 ， 可 以 针对 测试 数据 集 
评估 算法 。 将 数据 拆 分 为 训练 和 测试 数据 集 可 以 非常 直接 ， 就 是 执行 随机 数据 拆 分 ( 训 
练 集 为 66%， 测 试 集 为 34%) ， 或 者 也 可 以 采用 更 复杂 的 采样 方法 。 

揭 提示 : 

训练 集 和 测试 集 各 占 66% 和 34% 的 比例 只 是 一 个 参考 。 如 果 有 100 万 条 数据 ， 那 么 
90% 和 10% 的 分 割 就 足够 了 。 如 果 拥 有 1 亿 条 数据 ， 那 么 甚至 可 以 降低 到 99% 和 1%。 

在 训练 期 间 ， 己 经 训练 的 模型 不 会 出 现在 测试 数据 集 ， 并 且 对 该 数据 集 进行 的 任何 
预测 都 冒 在 从 总 体 上 指示 模型 的 性 能 ， 因 此 ， 需 要 确保 所 选择 的 数据 集 对 于 将 要 求解 的 
问题 具有 很 好 的 代表 性 。 

1.2.3 ”建立 模型 


如 前 所 述 ， 模 型 构建 阶段 包括 许多 子 步骤 ， 例 如 选择 合适 的 机 器 学 习 算法 、 训 练 模 
型 、 对 模型 进行 测试 、 评 估 模 型 以 确定 目标 是 否 已 实现 等 。 如 果 未 实现 目标 ， 则 进入 重 
新 训练 的 阶段 ， 方 法 有 两 种 :一 是 使 用 相同 的 算法 ， 但 是 选择 不 同 的 数据 集 ， 二 是 使 用 
全 新 的 算法 ， 直 至 达到 目标 。 
1.2.3.1 选择 适当 的 机 器 学 习 算法 


建立 模型 的 第 一 步 是 选择 可 以 解决 问题 的 适当 的 机 器 学 习 算法 。 


该 得 法 将 从 可 将 变量 映射 到 目标 的 训练 数据 模式 中 学 习 ， 并 将 输出 捕获 这 些 关 系 的 模型 。 
最 后 ， 可 以 使 用 机 器 学 习 模 型 来 获取 研究 者 不 知道 目标 答案 的 新 数据 的 预测 。 
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1.2.3.2 ”训练 机 器 学 习 模 型 


该 步骤 的 目标 是 选择 最 合适 的 算法 来 构建 机 喜 学 习 模 型 ， 对 其 进行 训练 ， 然 后 分 析 
接收 到 的 结果 。 首 先 ， 可 以 选择 适当 的 机 器 学 习 技 术 来 分 析 数 据 。 本 书 第 3 章 的 “iOS 
上 的 随机 森林 ”将 讨论 不 同 的 机 峰 学 习 算 法 ， 并 详细 介绍 它们 所 适合 的 问题 类 型 。 

训练 过 程 和 结果 分 析 也 将 根据 所 选 的 训练 算法 而 有 所 不 同 。 

训练 阶段 通常 会 使 用 转换 后 的 数据 中 存在 的 数据 的 所 有 属性 ， 其 中 包括 预测 变量 
(Predictor， 又 称 为 目 变 量 ) 属性 和 目标 (Objective)〉 属 性。 所 有 数据 特征 都 可 以 在 训练 
阶段 中 使 用 。 
1.2.3.3 测试 模型 

在 训练 数据 中 训练 了 机 器 学 习 算 法 之 后 ， 下 一 步 就 是 在 测试 数据 中 运行 模型 。 

数据 的 整个 属性 集 或 特征 集 分 为 预测 变量 属性 和 目标 属性 。 数 据 集 的 预测 变量 属性 / 
特征 将 作为 输入 提供 给 机 器 学 习 模 型 ， 并 且 该 模型 将 使 用 这 些 属性 来 预测 目标 属性 。 测 
试 集 仅 使 用 预测 变量 属性 。 现 在 ， 该 算法 将 使 用 预测 变量 属性 并 输出 关于 目标 属性 的 预 
测 。 提 供 输 出 之 后 ， 可 以 将 其 与 实际 数据 进行 比较 ， 以 了 解 算法 输出 的 质量 。 

测试 的 结果 应 正确 呈现 ， 以 供 进 一 步 分 析 。 在 结果 中 呈现 的 内 容 以 及 如 何 呈 现 它们 
至 天 重要 ， 它 们 也 可 能 带 来 新 的 业务 问题 。 


1.2.3.4 评估 模型 


应 该 有 一 个 过 程 来 测试 机 器 学 习 算 法 ， 以 了 解 我 们 是 否 选择 了 正确 的 算法 ， 并 针对 
问题 陈述 验证 算法 提供 的 输出 。 

这 是 机 器 学 习 过 程 的 最 后 一 步 ， 我 们 将 使 用 定义 好 的 成 功 标 准 阔 值 来 检查 准确 性 ， 
如 果 准 确 性 大 于 或 等 于 阔 值 ， 则 可 以 认为 已 经 达成 目标 。 如 果 未 达成 目标 ， 则 需要 使 用 
不 同 的 机 器 学 习 算 法 、 不 同 的 参数 设置 、 更 多 的 数据 以 及 更 改 后 的 数据 转换 重新 开始 。 
可 以 重复 整个 机 器 学 习 过 程 中 的 所 有 步骤 ， 也 可 以 仅 重 复 其 中 的 一 部 分 。 重 复 这 些 步 又 ， 
直到 达成 目标 并 对 结果 满意 为 止 。 
@@ 注意 : 

机 器 学 习 过 程 是 一 个 非常 依赖 迭代 的 过 程 。 从 一 个 步骤 中 找到 的 结果 可 能 需要 使 用 
新 信息 来 重复 上 一 个 步骤 ， 例 如 ， 在 数据 转换 步骤 中 ， 我 们 可 能 会 发 现 一 些 数据 质量 问 
题 ， 而 这 些 问 题 又 可 能 需要 我 们 回去 从 其 他 来 源 获取 更 多 的 数据 。 


每 个 步骤 可 能 还 需要 夺 干 次 达 代 。 由 于 数据 准备 步 又 可 能 会 经 历 多 次 达 代 ， 而 模型 


选择 也 可 
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能 会 经 历 多 次 迭代 ， 因 此 友 代 在 这 里 特别 有 意义 。 在 执行 机 器 学 习 所 列 出 的 整 


个 活动 序列 中 ， 任 何 活动 都 可 以 重复 多 次 。 例 如 ， 在 继续 测试 模型 之 前 ， 壬 试 使 用 不 同 
的 机 器 学 习 算 法 来 训练 模型 是 很 常见 的 。 因 此 ， 对 于 开发 人 员 来 说 ， 和 章 要 的 是 要 认识 到 
这 是 一 个 高 度 运 代 的 过 程 ， 而 不 是 线性 过 程 。 


1. 创建 测试 集 
必须 清楚 地 定义 测试 数据 集 。 测 试 数据 集 的 目标 如 下 。 


加 
加 
U 


快速 而 一 致 地 测试 选 定 的 用 来 解决 问题 的 算法 。 

测试 各 种 算法 以 确定 它们 是 否 能 够 解决 问题 。 

确定 哪 一 种 算法 最 适合 用 来 解决 该 问题 。 

确定 用 于 评估 目的 的 数据 是 否 存在 问题 ， 因 为 如 果 所 有 算法 始终 未 能 产生 正确 
的 结果 ， 则 可 能 需要 重新 准备 数据 。 


绩效 评估 


绩效 评估 是 评估 已 创建 模型 的 一 种 方法 。 需 要 使 用 不 同 的 绩效 指标 (Performance 
Metrics)〉 来 评估 不 同 的 机 器 学 习 模 型 。 可 以 选择 标准 绩效 指标 来 测试 模型 ， 开 发 人 员 也 
可 以 为 目 己 的 模型 自 定 义 绩效 指标 (一 般 情 况 下 是 不 需要 的 ) 。 

以 下 是 了 解 算法 性 能 指标 时 需要 知道 的 一 些 重要 术语 。 


UD 


过 度 拟 合 (Overfitting) : 当 看 到 模型 在 训练 数据 上 表现 良好 但 在 评估 数据 上 表 
现 不 佳 时 ， 该 机 器 学 习 模型 就 过 度 拟 合 了 训练 数据 。 这 是 因为 该 模型 记忆 了 已 
看 到 的 数据 ， 而 无 法 将 其 推广 到 未 见 过 的 示例 。 

欠 拟 合 (Underfitting) : 当 机 器 学 习 模 型 在 训练 数据 上 的 表现 较 差 时 ， 则 该 模 
型 对 训练 数据 欠 拟 合 或 拟 合 不 足 。 这 是 因为 模型 无 法 捕获 输入 示例 (通常 称 为 
X) 和 目标 值 〈 通 常 称 为 Y) 之 间 的 关系 。 

交叉 验证 (Cross-Validation) : 交叉 验证 是 一 种 通过 将 原始 样本 分 为 训练 模型 的 
训练 集 和 评估 模型 的 测试 集 来 评估 预测 模型 的 技术 。 在 倍 交叉 验证 中 ， 原 始 
样本 被 随机 分 为 个 大 小 相等 的 子 样本 。 

混 涌 矩阵 (Confusion Matrix) : 在 机 器 学 习 领 域 ， 尤 其 是 统计 分 类 问题 中 ， 混 
清算 阵 也 称 为 误差 矩阵 〈(Error Matrix) ， 是 一 种 特定 的 表 布 局 ， 可 以 对 算法 的 
性 能 进行 可 视 化 处 理 。 

偏差 (Bias) : 偏差 是 模型 以 一 致 方式 进行 预测 的 趋势 。 偏 差 反 映 的 是 模型 在 样 
本 上 的 输出 与 真实 值 之 间 的 误差 ， 即 模型 本 身 的 正确 率 。 

方 着 (Variance) : 方差 同样 是 模型 做 出 预测 的 趋势 ， 但 是 该 预测 会 因为 参数 和 
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标签 之 间 的 真实 关系 而 出 现 变 化 。 方 差 反 映 的 是 模型 每 一 次 输出 结果 与 模型 输 
出 期 望 之 间 的 误 送 ， 即 模型 的 稳定 性 。 

口 ”正确 率 (Accuracy) : 正确 率 就 是 将 正确 的 结果 除 以 总 结果 。 

DQ 误差 (Error) : 误差 就 是 将 错误 的 结果 除 以 总 结果 。 

口 “” 精 度 (Precision) : 机 器 学 习 算 法 返回 的 正确 结果 数 除 以 所 有 人 返回 结果 数 。 

口 召回 紊 (Recall) : 机 器 学 习 算 法 返回 的 正确 结果 数 除 以 应 返回 的 结果 数 。 
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进行 预测 /现场 部 署 


模型 准备 就 红 后 ， 可 以 将 其 部 哨 到 现场 以 供 使 用 ， 可 以 使 用 已 在 现场 构建 和 部 普 的 
模型 对 即将 到 来 的 数据 集 进行 预测 。 


1.3 学 习 类 型 


对 于 如 何 定义 机 器 学 习 算 法 的 类 型 ， 有 一 些 不 同 的 变 体 。 算 法 的 最 常见 分 类 是 根据 
算法 的 学 习 者 类 型 完成 的 ， 其 分 类 如 下 。 

口 监督 学 习 。 

口 无 监督 学 习 。 

口 “ 半 监 督学 习 。 

口 强化 学 习 。 


1.3.1 监督 学 习 


监督 学 习 (Supervised Learning， 也 称 为 有 监督 学 习 ) 是 一 种 学 习 类 型 ， 这 种 类 型 将 
回 模型 提供 足够 的 信息 和 知识 ， 并 对 其 进行 密切 监督 以 进行 学 习 。 因 此 ， 监 督学 习 可 以 
基于 已 完成 的 学 习 来 预测 新 数据 集 的 结果 。 

在 这 里 ， 模 型 是 在 监督 模式 下 进行 训练 的 ， 类 似 于 教师 的 监督 。 在 这 种 学 习 类 型 中 ， 
我 们 回 模 型 提供 了 足够 的 包含 输入 /预测 变量 的 训练 数据 ， 并 对 其 进行 训练 以 显示 正确 的 
答案 或 和 输出。 因此， 这 种 类 型 可 以 学 习 并 能 够 预测 将 来 可 能 出 现 的 未 见 过 的 数据 的 输出 。 

一 个 典型 的 监督 学 习 例子 就 是 标准 的 高 尾 属 植 物 (Iris〉 数 据 集 。Iris 数据 集 由 3 种 
苞 尾 属 植物 组 成 ， 每 种 营 尾 属 植物 的 长 度 、 苯 片 宽 度 、 花 辩 长 度 和 花 准 宽 度 均 已 给 出 。 
对 于 这 4 个 参数 的 特定 模式 ， 将 提供 关于 此 类 集合 应 属于 哪个 物种 的 标签 。 通 过 学 习 ， 
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模型 将 能 够 预测 标签 〈 在 这 种 情况 下 ， 就 是 基于 特征 集 的 总 尾 属 植物 种 类 ) 在 本 示例 中 
的 4 个 参数 。 

监督 学 习 算法 将 答 试 对 目标 预测 输出 和 输入 特征 之 间 的 关系 和 依赖 性 进行 建 模 ， 以 
便 可 以 根据 从 先前 数据 集中 学 习 到 的 那些 关系 预测 新 数据 的 输出 值 。 

图 1-2 以 图 示 方 式 勾画 出 了 监督 学 习 的 概念 。 监 督学 习 算 法 可 以 使 用 带 有 标签 的 数据 
作为 输入 以 建立 模型 ， 这 是 训练 阶段 (Training Phase) 。 然 后 ， 使 用 该 模型 预测 没有 标 
签 的 任何 输入 数据 的 分 类 标签 ， 这 是 测试 阶段 (Testing Phase) 。 


Training Phase 


Red Green 


Green 


Blue Re | 
Blue 


Green | | 
Supervised Machine 


| Predictive Vlodel 
learning 


Training data 
with labels 


Testing Phase 


Gr”= mb 


Data for testing Correct label 
model without 
sma Predictive Model en》 区 
model 


labels 


图 1-2 

原 文 译 文 
Training Phase 训练 阶段 
Trainine data with labels 包含 标签 的 训练 数据 
Supervised Machine learnine 监督 机 器 学 习 
Predictive Model 预测 模型 
Testine Phase 测试 阶段 
Data for testine model without labels 没有 标签 的 测试 模型 的 数据 


Correct label predicted by model 


模型 预测 的 正确 标签 
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同样 ， 在 监督 学 习 算 法 中 ， 基 于 所 考虑 的 场景 类 型 和 所 考虑 的 数据 集 ， 预 测 的 输出 
可 以 是 离散 /分 类 值 (Discrete/Categorical Value) ， 也 可 以 是 连续 值 (Continuous Value) 。 
如 条 预测 的 输出 是 离散 /分 类 值 ， 则 此 类 算法 属于 分 类 算法 〈Classification Algorithm) ; 
如 果 预 测 的 输出 是 连续 值 ， 则 此 类 算法 属于 回归 算法 (Regression Algorithm) 。 

如 果 有 一 组 电子 邮件 ， 你 想 从 中 学 习 ， 以 便 能 够 分 辨 出 哪些 电子 邮件 属于 垃圾 邮件 
类 别 ， 哪 些 电 子 邮件 属于 非 垃 圾 邮件 类 别 ， 则 用 于 此 目的 的 算法 将 属于 分 类 算法 类 型 的 
监督 学 习 算 法 。 在 该 示例 中 ， 你 需要 回 模 型 提供 一 组 电子 邮件 ， 并 回 模 型 提供 有 关 属 性 
的 足够 知识 ， 然 后 基于 该 知识 将 电子 邮件 分 为 垃圾 邮件 类 别 或 非 垃圾 邮件 类 别 。 因 此 ， 
预测 的 输出 将 是 分 类 值 ， 即 垃圾 邮件 或 非 垃 圾 邮件 。 

现在 来 考虑 一 个 基于 给 定 参 数 集 的 用 例 , 假设 我 们 需要 预测 给 定 区 域 中 房屋 的 价格 。 
该 示例 中 的 预测 输出 就 不 能 是 分 类 值 ， 它 将 是 一 个 范围 或 连续 值 ， 并 且 会 定期 变化 。 在 
此 问题 中 ， 也 需要 为 模型 提供 足够 的 知识 ， 并 以 此 为 基础 来 预测 定价 。 这 种 类 型 的 算法 
属于 回归 算法 类 型 的 监督 学 习 算法 。 

以 下 算法 均 属于 机 器 学 习 系 列 的 监督 学 习 类 别 。 

口 最 近邻 算法 (K-Nearest Neighbor, KNN) 。 

口 村 泰 贝 叶 斯 法 (Naive Bayes) 。 

口 决策 树 (Decision Tree) 。 

DQ 线性 回归 (Linear Regression) 。 

DQ 人 逻辑 回归 (Logistic Regression) 。 

DQ 支持 同 量 机 (Support Vector Machines，SVM) 。 

口 随机 森林 (Random Forest) 。 


1.3.2 无 上 监督 学 习 


在 这 种 学 习 模式 中 ， 没 有 对 模型 进行 监督 来 学 习 。 该 模型 会 根据 输入 的 数据 自行 学 
习 ， 并 为 我 们 提供 已 学 习 的 模式 。 它 不 会 预 出 任何 离散 的 范 因 值 或 连续 值 ， 而 是 通过 得 
看 输入 的 数据 来 提供 它 己 经 理解 的 模式 。 输 入 的 训练 数据 是 无 标签 的 ， 没 有 为 模型 学 习 
提供 足够 的 知识 信息 。 

在 该 学 习 模 式 中 ， 根 本 没有 监督 。 实 际 上 ， 该 模型 在 学 习 数 据 后 也 许 能 够 教 给 我 们 
一 些 新 事物 。 当 特征 集 太 大 且 用 户 并 不 知道 要 在 数据 中 查找 什么 内 容 时 ， 这 些 算法 非常 
有 用 。 

这 类 算法 主要 用 于 模式 检测 (Pattern Detection) 和 描述 性 建 模 (Descriptive Modeling ) 。 
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描述 性 建 模 总 结 了 来 自 数据 的 相关 信息 ， 并 提供 了 已 发 生 事件 的 摘要 ， 而 与 之 相对 应 的 ， 
预测 性 建 模 (Predictive Modeling) 则 是 总 结 了 数据 并 提供 了 可 能 发 生 的 事件 的 摘要 。 

无 监督 学 习 算 法 可 用 于 两 种 关 别 的 预测 : 使 用 输入 的 数据 ， 并 可 以 提出 不 同 的 模式 、 
数据 点 的 摘要 以 及 人 眼 不 可 见 的 洞察 力 ; 可 提出 有 意义 的 派生 数据 或 数据 模式 ， 这 些 数 
据 或 数据 模式 对 最 终 用 户 可 能 非常 有 用 。 

图 1-3 以 图 示 方 式 义 画 出 了 无 监督 学 习 的 概念 .无 监督 学 习 算 法 可 以 将 不 市 标签 的 数 
据 作为 输入 以 建立 模型 ， 这 是 训练 阶段 。 然 后 ， 使 用 该 模型 可 预测 没有 标签 的 任何 输入 
数据 的 正确 模式 ， 这 是 测试 阶段 。 


Training Phase 


Un-Supervised 
Machine learning 


Predictive Model 


Training data 
without labels 


Testing Phase ~ 


Correct clusters 


model without 
labels Predictive Model me 0 ta by 


Data for testing 


原 ” 文 译文 
Training Phase 训练 阶段 
Training data without labels 无 标签 的 训练 数据 
Un-Supervised Machine learnine 无 监督 学 习 
Predictive Model 预测 模型 
Testine Phase 测试 阶段 
Data for testine model without labels 没有 标签 的 测试 模型 的 数据 


Correct clusters predicted by model 模型 预测 的 正确 簇 


。14 。 面 问 移动 设备 的 机 器 学 习 


在 这 一 系列 算法 中 ， 它 们 将 基于 输入 到 模型 的 输入 数据 和 模型 采用 的 方法 ， 推 理 数 
据 集 中 的 模式 (Pattermm)。 无 监督 学 习 有 两 种 常见 的 算法 类 别 , 分 别 是 聚 类 算法 (Clustering 
Algorithm) 和 关联 规则 映射 算法 (Association Rule Mapping Algorithm) 。 

聚 类 算法 可 以 分 析 输 入 数据 集 ， 并 将 具有 相似 性 的 数据 项 分 组 到 同一 上 聚 类 中 。 它 会 
产生 不 同 的 聚 舌 〈Cluster) ， 并 且 每 个 聚 关 将 保存 彼此 之 则 更 相似 的 数据 项 ， 以 示 与 其 
他 聚 类 的 不 同 。 有 多 种 机 制 可 用 于 创建 这 些 聚 类 。 

客户 细 分 就 是 聚 类 的 一 个 示例 。 假 设 我 们 已 经 拥有 一 个 庞大 的 客户 数据 集 ， 并 捕获 
了 客户 的 所 有 特征 。 该 模型 可 能 会 提出 有 趣 的 客户 聚 类 模式 ， 这 些 模式 在 人 眼看 来 可 能 
非常 明显 。 这 样 的 聚 类 对 于 有 和 针对 性 的 市 场 营销 可 能 非常 有 帮助 。 

男 一 种 ， 关 联 规则 学 习 是 发 现 大 型 数据 集中 变量 之 间 关 系 的 模型 。 一 个 典型 的 例子 
是 市 场 购物 篮子 分 析 。 在 这 里 ， 模 型 试图 找到 市 场 购物 篮子 中 人 不同 商品 之 间 的 牢固 关系 。 
它 可 以 预测 商品 之 间 的 关系 ， 并 确定 用 户 在 购买 条 商品 时 购买 另 一 个 特定 商品 的 可 能 性 。 
例如 ， 它 可 能 会 预测 购买 面包 的 用 户 通 常 也 会 购买 牛奶 ， 或 者 购买 啤酒 的 用 户 通 常 也 会 
购买 斥 布 ， 以 此 类 推 。 

属于 该 类 别 的 算法 包括 以 下 方面 。 

口 聚 类 算法 。 

> ”基于 质心 的 算法 (Centroid-Based Algorithm) 。 
基于 连通 性 的 算法 (Connectivity-Based Algorithm) 。 
基于 密度 的 算法 (Density-Based Algorithm) 。 
概率 算法 (Probabilistic Algorithm)。 
降 维 算法 (Dimensionality Reduction Algorithm) 。 
神经 网 络 /深度 学 习 (Neural Network/Deep Leaming) 。 


1.3.3” 半 监督 学 习 


VY YY YY YY 


在 前 两 种 类 型 中 ， 数 据 集 中 的 所 有 观测 值 都 没有 标签 ， 或 者 所 有 观测 值 都 存在 标签 。 
半 监 督学 习 〈(Semi-Supervised Learning〉 则 介 于 两 者 之 则 。 在 许多 实际 情况 下 ,标签 的 成 
本 很 高 ， 因 为 它 需 要 熟练 的 人 类 专家 来 完成 。 因 此 ， 如 果 大 多 数 观 察 结果 中 都 没有 标签 ， 
但 少数 观察 结果 中 存在 标签 ， 则 半 监 督 算 法 是 建立 模型 的 最 佳 选择 。 

语音 分 析 是 一 种 半 监 督学 习 模 型 的 例子 。 给 音频 文件 加 上 标签 非常 昂贵 ， 并 且 需 要 
很 高 水 平 的 人 工 。 应 用 半 监 督学 习 模型 确实 可 以 帮助 改善 传统 的 语音 分 析 模型 
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在 此 类 算法 中 ， 同 样 基 于 预测 的 输出 (可 以 是 分 类 的 或 连续 的 ) ， 该 算法 系列 可 以 
是 回归 算法 或 分 类 算法 。 


1.3.4 强化 学 习 


强化 学 习 (Reinforcement Learning) 是 基于 与 环境 互动 的 面 回 目标 的 学 习 。 强 化 学 习 
算法 一 一 被 称 为 代理 〈Agent) ， 以 达 代 方式 不 断 从 环境 中 学 习 。 在 此 过 程 中 ， 代 理 将 从 
其 对 环境 的 经 验 中 学 习 ， 直 到 探究 出 所 有 可 能 的 状态 ， 并 能 够 达到 目标 状态 为 止 。 

让 我 们 以 一 个 学 习 骑 自行 车 的 孩子 为 例 。 孩 子 尝试 骑 乘 学 习 ， 他 可 能 会 摔 倒 ， 他 将 
了 解 如 何 保 持平 衡 ， 如 何 继续 骑 行 而 不 会 跌倒 ， 如 何 坐 在 正确 的 位 置 以 使 身体 重心 不 会 
问 一 侧 移动 ， 注 意 观 察 路 面 状 态 ， 并 且 还 需要 根据 路 面 、 坡 度 、 山 坡 等 来 计划 动作 。 因 
此 ， 他 将 了 解 到 学 习 骑 目 行车 所 需 的 所 有 可 能 的 场景 和 状态 。 跌 倒 可 能 被 认为 是 负面 反 
人 局， 而 沿 看 坡度 骑 行 的 能 力 可 能 是 孩子 的 积极 奖励 。 这 是 经 典 的 强化 学 习 。 这 与 模型 在 
特定 上 下 文中 确定 理想 行为 以 最 大 化 其 绩效 所 执行 的 操作 是 一 样 的。 代理 需要 简单 的 奖 
励 反 馈 来 了 解 其 行为 ， 这 就 是 强化 信号 (Reinforcement Signal) ， 如 图 1-4 所 示 。 


Environment 


图 1-4 
原文 译文 
Aspent 代理 
State 状态 
Reward 奖励 
Action 动作 
Environment 环境 


现在 可 以 总 结 一 下 通过 前 和 面 的 几 幅 示意 图 看 到 的 学 习 算 法 的 类 型 ， 以 便 为 给 定 的 问 
题 陈述 选择 算法 提供 方便 和 参考 ， 如 图 1-5 所 示 。 


ss 16" 面 同 移动 设备 的 机 器 学 习 


ge Semi- 和 全 


Association 
Rule Mapping 


Categorical Target | Continucus Target Target not defined | Ta reet not defined | Categorical Target Continuous Ta rget| 
| | | 


Classification Regression Clustering Classification Regression 


图 1-5 

原 文 译 文 
ML Algorithms 机 器 学 习 算 法 
Supervised 监督 学 习 
Unsupervised 无 监督 学 习 
Semi-Supervised 半 监 督学 习 
Reinforcement 强化 学 习 
Classification 分 类 算法 
Categorical Target 分 类 目标 
Reeression 回归 算法 
Continuous Target 连续 目标 
Clusterine 聚 类 算法 
Target not defined 目标 未 定义 
Assoclation Rule Mapping 关联 规则 映射 


1.3.5 ”机 器 学 习 的 挑战 


在 机 器 学 习 中 面临 的 一 些 挑 战 如 下 。 

口 缺少 定义 明确 的 机 器 学 习 问 题 。 如 果 未 按照 要 求 的 标准 明确 定义 问题 ， 则 机 器 
学 习 问 题 很 可 能 会 失败 。 

口 “特征 工程 。 这 涉及 有 天数 据 及 其 特征 的 每 项 活动 ， 这 些 活动 对 于 机 器 学 习 问题 

口 ”训练 集 和 测试 集 之 则 的 对 应 关系 不 够 清晰 。 该 模型 通常 在 训练 阶段 表现 民 好 ， 
但 由 于 缺乏 训练 集中 所 有 可 能 的 数据 ， 因 此 在 现场 部 普 时 惨遭 失败 。 应 该 注意 
这 一 点 ， 以 使 模型 在 现场 部 普 时 成 功 。 


加 
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正确 选择 算法 。 虽 然 有 各 种 各 样 的 算法 可 用 ， 但 是 哪 一 种 算法 最 适合 我 们 的 问 
题 呢 ? 应 该 在 迭代 过 程 中 正确 选择 所 需 的 适当 参数 。 


1.4 在 移动 设备 上 进行 机 器 学 习 


机 器 学 习 需 要 从 大 量 数据 中 提取 有 意义 上 且 可 操作 的 信息 。 要 分 析 大 量 数据 并 进行 推 
理 ， 需 要 大 量 计算 ， 此 处 理 非常 适合 云 环境 。 但 是 ， 如 果 可 以 在 移动 设备 上 进行 机 器 学 
习 ， 那 么 将 具有 以 下 优点 。 


UD 


UD 
U 


U 


机 器 学 习 可 以 离线 执行 ,这样 就 不 需要 将 移动 设备 拥有 的 所 有 数据 发 送 到 网 络 ， 
也 不 需要 等 待 服务 器 返回 结果 。 

避免 了 由 于 将 移动 数据 传输 到 服务 器 而 引起 的 网 络 带 宽 成 本 。 

按 本 地 方式 处 理 数据 可 以 避免 延迟 。 移 动机 器 学 习 具 有 很 大 的 响应 能 力 ， 这 样 
就 不 必 等 待 服务 器 的 连接 和 响应 。 服 务 器 响应 最 多 可 能 需要 1 一 2 秒 ,但 是 移动 
机 器 学 习 则 可 以 立即 完成 。 

隐私 一 一 这 是 移动 机 器 学 习 的 另 一 个 优势 ， 无 须 将 用 户 数据 发 送 到 移动 设备 外 
部 ， 从 而 实现 更 好 的 隐私 性 。 


机 器 学 习 始 于 计算 机 ， 但 是 新 兴 趋 势 表 明 ， 在 移动 设备 上 实现 机 器 学 习 的 移动 应 用 
程序 开发 是 下 一 个 热点 。 现 代 移 动 设备 显示 出 高 生产 力 水 平 ， 足 以 执行 与 传统 计算 机 相 
同 程度 的 适当 人 任务， 同样， 来 目 全 球 公司 的 一 些 信号 也 证 实 了 这 一 假设 。 


UU 
U 


加 


Google 推出 了 TensorFlow for Mobile。 开 发 人 员 社 区 对 此 也 非常 感 兴趣 。 

Apple 己 经 发 布 『 Siri1 SDK 和 Core ML, 现 在 所 有 开发 人 员 都 可 以 将 此 功能 整合 
到 他 们 的 应 用 程序 中 。 

中 国联 想 公司 正 在 开发 他 们 的 新 智能 手机 ， 该 智能 手机 可 以 在 没有 互联 网 连接 
的 情况 下 运行 ， 并 执行 室内 地 理 位 置 和 增强 现实 功能 。 

大 多 数 移动 必 片 制造 商 〈 无 论 是 华为 、Apple、 高 通 、 三 星 还 是 Google) 都 在 进 
行 便 件 研 究 ， 以 加 速 移动 设备 上 的 机 器 学 习 。 

在 硬件 层面 上 发 生 了 许多 创新 ， 以 实现 硬件 加 速 ， 这 使 得 我 们 在 移动 设备 上 部 
普 机 器 学 习 应 用 程序 变 得 更 容易 。 

许多 移动 优化 模型 ， 例 如 MobileNets、Squeeze Net 等 都 是 开源 的 。 

物 联 网 设备 和 智能 硬件 设备 的 可 用 性 正在 增加 ， 这 将 有 助 于 创新 。 

人 们 对 于 离线 场景 有 更 多 的 用 例 。 
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口 ”对 于 用 户 数据 隐私 的 保护 获得 了 越 来 越 多 的 关注 ， 并 且 用 户 也 和 希望 其 个 人 数据 
完全 不 离开 其 移动 设备 。 

移动 设备 上 机 器 学 习 的 一 些 经 典 示例 如 下 。 

口 语音 识别 。 

口 计算 机 视觉 和 图 像 分 类 。 

口 手势 识别 。 

口 ”从 一 种 语言 翻译 成 男 一 种 语言 。 

口 交互 式 设备 上 文本 检测 。 

DQ ”自动 驾驶 汽车 、 无 人 机 导航 和 机 器 人 。 

口 与 医疗 设备 交互 的 患者 监护 系统 和 移动 应 用 程序 。 


1.4.1 在 移动 应 用 程序 中 实现 机 器 学 习 的 万 法 


现在 ， 我 们 已 经 清楚 地 了 解 了 什么 是 机 器 学 习 ， 以 及 在 学 习 问 题 中 要 执行 的 关键 任 
务 是 什么 。 对 于 任何 机 器 学 习 问 题 ， 要 执行 的 4 个 主要 活动 如 下 。 
(1) 定义 机 器 学 习 问 题 。 
(2) 收集 所 需 数 据 。 
(3) 使 用 该 数据 构建 /训练 模型 。 
(4) 使 用 模型 进行 预测 。 
训练 模型 是 整个 过 程 中 最 困难 的 部 分 。 一 旦 我 们 训练 了 模型 并 准备 好 模型 ， 则 使 用 
它 来 推理 或 预测 新 数据 集 就 非常 容易 了 。 
对 于 以 上 各 点 提供 的 所 有 4 个 步 又， 显然 需要 确定 使 用 它们 的 位 置 一 一 要 么 在 设备 
上 ， 要 么 在 云 中 。 
我 们 需要 决定 的 主要 事情 如 下 。 
口 痛 先 ， 是 要 训练 和 创建 自 定义 模型 还 是 使 用 预 建 模型 ? 
口 如果 想 要 训练 自己 的 模型 ， 那 么 是 在 台式 机 还 是 在 云 上 进行 训练 ? 有 可 能 在 移 
动 设备 上 训练 模型 吗 ? 
口 一 旦 模型 可 用 ， 是 否 要 将 其 放置 在 本 地 设备 中 并 在 设备 上 进行 推理 ， 还 是 将 模 
型 部 署 在 云端 并 从 那里 进行 推理 ? 
如 图 1-6 所 示 解 释 了 在 移动 应 用 程序 中 实现 机 器 学 习 的 广泛 可 能 性 ， 将 在 接 下 来 的 小 
节 中 详细 介绍 它 。 


Utilize ML Cloud Service 

Providers ( Training and 

Inference using 3 party 
components) 


Trainingand Inference 
done by cloud providers 


Provider gives Services or 
Mobile SDK that can be 
used to build mobile 
applications. 


面 同 移动 设备 的 机 器 学 习 应 用 程序 


Custom ML ( Trainingand 
inference done asserver 


components). Inference APIs 


invoked from Mobile 
Application. 


Training and Inference 
done by us. Any of the 
following three 
mechanism can be 
chosen to perform this. 


Utilize General Cloud 
Computing server 


inference 


Custom ML trained in server, 


deployed into Mobileand 
inferenmce donefrom Mobile 
Device 


Here the training cannot 
be done on mobile 
device. |t can be done 
through any of the other 
methods discussed 


Inference can be done on 


the mobile device, by 
deployingthe model into 
the mobile device and 


ss O90" 


invokinge it. 


Use Hosted Machine 
| Learning fortrainingand 
inference 


User Private server/cloud 
setup for training and 
inference 


原 ” 文 
Utlze ML Cloud Service Providers (Training and 
Inference Using 3" party components 
Trainine and inference done by cloud providers 
Provider gives Services or Mobile SDK that can be used 
to bulld mobile applications 
Custom ML(Tramme and mference done as server 
components). Infterence APIs invoked from Mobile 
Application 
Training and nterence done by Us. Any ot the followmne 
three mechanism can be chosen to perform this 
Utlhze General Cloud Computine server resources tor 


trainine and mference 


译 文 
利用 机 器 学 习 云 服务 提供 商 〈 使 用 第 三 方 组 
件 进行 训练 和 推理 ) 
由 云 服 务 提 供 商 进行 训练 和 推理 
云 服 务 提供 商 提供 可 用 于 构建 移动 应 用 程序 
的 服务 或 移动 SDK 


目 定义 机 器 学 习 〈 训 练 和 推理 作为 服务 器 组 
件 完成 ) 。 从 移动 应 用 程序 调用 推理 API 


由 我 们 上 自己 进行 训练 和 推理 。 可 以 选择 以 下 3 


种 机 制 中 的 任何 一 种 来 执行 此 操作 


利用 通用 云 计 算 服务 器 资源 进行 训练 和 推理 
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原 文 
Use Hosted Machine Learnine for training and Infterence 
User private server/cloud setup tor trainine and Inference 
Custom ML tramed 1n server, deployed linto Mobile and 


Infterence done from Mobile Device 


Here the training cannot be done on mobile device. It can 


be done throueh any of the other methods discussed 
Inference can be done on the mobile device, by deployimsg 


the model into the mobile device and invokine 1t 


译文 
使 用 托管 机 器 学 习 进行 训练 和 推理 
用 户 专 用 服务 器 / 云 设置 ， 用 于 训练 和 推理 
在 服务 器 中 训练 过 的 自 定 义 机 器 学 习 ， 部 署 
到 移动 设备 并 在 移动 设备 上 进行 推理 
训练 不 能 在 移动 设备 上 进行 ， 可 以 通过 前 面 
讨论 过 的 任何 其 他 方法 来 完成 
将 模型 部 署 到 移动 设备 并 调用 它 ， 以 便 在 移 
动 设 备 上 进行 推理 


1.4.1.1 利用 机 器 学 习 服 务 提供 商 的 机 器 学 习 模 型 
有 许多 服务 提供 商 可 以 提供 机 器 学 习 即 服务 (Machine Learning as a Service，MLaaS ) ， 


我 们 可 以 考虑 使 用 这 种 服务 。 


以 下 列 出 了 硅 干 个 提供 机 融 学 习 即 服务 的 提供 商 ， 该 列表 每 天 都 在 增加 。 


DQ Clarlifal 。 

DD Google Cloud Vilslon 。 

UD Microsoft Azure Cognitive Services。 
UD IBM Watson 。 

DD Amazon Web Services。 


如 果 我 们 使 用 机 器 学 习 即 服务 ， 则 意味 看 训练 已 经 完成 ， 模 型 已 经 建立 ， 并 且 模 型 
特征 也 已 作为 Web 服务 公开 。 因 此 ， 我 们 通过 移动 应 用 程序 要 做 的 只 是 简单 地 使 用 所 需 
的 数据 集 调用 蛋 型 服务 ， 并 从 机 需 学 习 即 服务 提供 商 处 获取 结果 ， 然 后 根据 有 要求 在 移动 


应 用 程序 中 显示 结果 ， 如 图 1-7 所 示 。 


| 
| Regquest ML Service | 
Mobile App 


Model, Training data 
and so on prasent here. 
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原 文 译 文 
Mobile Apfr 移动 应 用 程序 
Request ML Service 请 求 机 器 学 习 服 务 
Response Data 啊 应 数据 
ML Service Provider on Cloud 在 云端 的 机 器 学 习 服 务 提 供 商 
Model, Trainine data and so on present here 模型 、 训 练 数据 等 都 在 这 里 


一 些 机 器 学 习 即 服务 提供 商 还 提供 了 一 个 SDKE， 使 集成 工作 更 加 简单 。 

我 们 可 能 需要 问 机 噩 学 习 即 服务 提供 商 交 付 使 用 其 机 需 学 习 Web 服务 的 费用 ， 可 能 
有 多 种 收费 标准 ， 如 按 调用 次 数 或 模型 类 型 等 收费 。 

这 是 使 用 机 器 学 习 服 务 的 非常 简单 的 方法 ， 用 户 无 须 实际 对 模型 做 任何 事情 。 最 香 
要 的 是 ， 机 器 学 习 服 务 提供 商 可 以 通过 不 断 地 重新 训练 (包括 需要 调用 它 时 输入 的 新 数 
据 集 等 ) 来 不 断 更 新 模型 。 因 此 ， 其 模型 的 维护 和 改进 工作 实际 上 可 以 目 动 按 例 程 进行 。 

由 此 可 匈 ， 这 种 应 用 机 器 学 习 的 模式 对 于 移动 领域 的 专家 来 说 是 最 容易 的 ， 因 为 他 
们 完全 可 以 在 对 机 右 学 习 知 之 其 少 的 情况 下 构建 出 一 个 支持 机 器 学 习 的 应 用 程序 。 

所 以 ， 这 种 基于 云 的 机 器 学 习 服 务 共 有 以 下 明显 优势 。 

口 它 易于 使 用 。 


口 午 新 训练 、 模 型 更 新 、 模 型 的 支持 和 维护 均 由 机 器 学 习 服 务 提供 商 完 成 。 

口 ” 仅 根据 使 用 情况 付费 ， 没 有 维护 模型 、 训 练 数据 等 的 开销 。 

当然 ， 这 种 方法 也 有 其 不 足 之 处 ， 有 具体 包括 以 下 方面 。 

口 预测 将 在 云 中 和 完成， 因此 ， 必 须 将 要 进行 预测 或 推理 的 数据 集 发 送 到 云 疾 ， 数 
据 集 必须 保持 在 最 佳 大 小 。 

口 由 于 数据 是 通过 网 络 传输 的 ， 因 此 应 用 程序 可 能 会 遇 到 一 些 性 能 问题 ， 因 为 整 
个 过 程 现在 都 取决 于 网 络 。 

口 移动 应 用 程序 不 能 在 离线 模式 下 工作 ， 而 只 能 作为 完全 在 线 的 应 用 程序 工作 。 

DQ 一般 情 况 下 ， 每 次 请 求 都 要 付费 ， 因 此 ， 如 果 应 用 程序 的 用 户 数量 成 倍增 加 ， 
则 机 右 学 习 服 务 的 成 本 也 会 增加 。 

DQ ”训练 和 再 训练 由 云 服 务 提供 商 控 制 ， 因 此 ， 他 们 可 能 已 经 完成 了 常见 数据 集 
的 训练 。 如 果 移动 应 用 程序 需要 使 用 真正 独特 的 功能 ， 则 可 能 无 法 进行 预测 。 

如 果 你 是 一 个 机 右 学 习 方 面 的 初学 者 ， 想 要 开始 创建 支持 机 颖 学 习 的 移动 应 用 程序 ， 

那么 这 种 模式 在 成 本 和 技术 可 行 性 方面 部 非常 合适 。 
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1.4.1.2 ”训练 机 器 学 习 模型 的 方法 


有 多 种 方法 可 以 训练 我 们 自己 的 机 器 学 习 模 型 。 在 开始 训练 模型 之 前 ， 不 妨 思考 一 
个 问题 : 我 们 为 什么 要 训练 自己 的 模型 ? 
一 般 来 说 ， 如 果 我 们 的 数据 在 某 种 程度 上 是 特殊 的 或 唯一 的 ， 或 是 仅 与 我 们 目 己 的 
要 求 相 关 ， 无 法 使 用 现 有 的 解决 方案 来 解决 我 们 的 问题 ， 那 么 开发 人 员 就 有 必要 考虑 训 
练 日 己 的 机 器 学 习 模 型 。 
为 了 训练 我 们 目 己 的 模型 ， 需 要 有 一 个 民 好 的 数据 集 。 所 谓 “ 民 好 的 数据 集 ” 不 仅 
质量 要 噩 ， 而 且 数 量 要 足够 庞大 。 
根据 需求 和 数据 量 ， 可 以 按 以 下 多 种 方式 /地 点 来 训练 目 己 的 模型 。 
口 在 台式 机 上 《在 云 中 进行 训练 ) : 
> 通用 云 计算 。 
> 托管 机 器 学 习 。 
> 私有 云 /简单 服务 器 。 
口 “ 在 移动 设备 上 : 一 般 来 说 ， 这 是 不 太 可 行 的 ， 我 们 只 能 将 训练 后 的 模型 部 普 在 
移动 设备 上 ， 然 后 从 移动 设备 调用 它 。 到 目前 为 止 ， 训 练 过 程 本 身 在 移动 设备 
上 进行 仍然 是 不 太 现实 的 。 
1， 在 台式 机 上 在 云 中 进行 训练 》 
如 果 决 定 在 台式 机 上 进行 训练 ， 则 必须 根据 需要 在 云 中 或 在 本 地 服务 器 上 进行 训练 。 
如 果 决 定 使 用 云 ， 那 么 义 有 以 下 两 种 选择 。 
DQ 通用 云 计 算 。 
口 “ 托 党 机 器 学 习 。 
通用 云 计 算 (Generic Cloud Computing) 有 点 类 似 于 利用 云 服务 提供 了 商 来 执行 我 们 的 
工作 。 我 们 想 要 进行 机 器 学 习 训练 ， 了 驶 必须 要 有 一 定 的 资源 ， 如 人 硬件、 存储 设备 等 。 利 
用 这 些 资源 ， 才 可 以 去 做 任何 需要 做 的 事情 。 我 们 需要 在 这 里 放置 训练 数据 集 、 运 行 训 
练 逻 辑 /算法 、 构 建 模 型 等 。 
一 旦 训练 完成 并 创建 了 模型 ， 就 可 以 在 任何 地 方 使 用 该 模型 。 对 于 云 提供 商 ， 我 们 
仅 文 付 使 用 硬件 和 存储 的 费用 。 
Amazon Web Services (AWS) 和 Microsoft Azure 就 是 此 类 云 计 算 供 应 商 的 代表 。 使 
用 这 种 方法 的 好 处 如 下 。 
口 “” 硬件 /存储 可 以 随时 购买 和 使 用 。 当 训练 数据 量 增加 时 ， 无 须 担 心 增加 存储 量 等 
问题 ， 在 需要 时 可 以 通过 支付 费用 来 增加 。 
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口 ”训练 完成 并 创建 模型 后 ， 就 可 以 释放 计算 资源 。 计 算 资 源 的 成 本 仅 用 于 训练 期 
间 ， 因 此 ， 如 果 能 够 快速 完成 训练 ， 则 可 以 节省 很 多 费用 。 
DQ 可 以 免费 下 载 经 过 训练 的 模型 ， 并 在 任何 地 方 使 用 。 
采用 这 种 方法 时 ， 需 要 注意 以 下 几 点 。 
口 我 们 需要 自己 管理 整个 训练 工作 和 模型 创建 过 程 ， 通 用 云 计 算 服务 提供 商 提 供 
给 我 们 的 只 是 执行 此 工作 所 需 的 计算 资源 。 
口 “ 我 们 需要 知道 如 何 训练 和 构建 模型 。 
Amazon、Microsoft 和 Google 等 多 家 公司 现在 均 在 其 现 有 云 服务 之 上 提供 了 机 器 学 
习 即 服务 。 如 果 及 用 的 是 托管 机 器 学 习 模 式 ， 则 无 须 担心 计算 资源 或 机 器 学 习 模 型 。 我 
们 需要 做 的 就 是 为 问题 集 上 传 数据 ， 从 可 用 的 模型 列表 中 选择 要 为 我 们 的 数据 训练 的 模 
型 ， 仅 此 而 已 。 机 器 学 习 即 服务 将 负责 训练 模型 并 同 我 们 提供 经 过 训练 的 模型 来 使 用 。 
当 我 们 不 是 很 精通 编写 自 定 义 模型 并 对 其 进行 训练 ， 但 又 不 想 完全 交 给 机 器 学 习 提 
供 商 使 用 他 们 的 服务 ， 而 是 希望 在 两 者 之 间 做 些 我 们 自己 能 做 到 的 事情 时 ， 这 种 方法 非 
常 有 效 。 我 们 可 以 自己 选择 模型 ， 上 传 我 们 独特 的 数据 集 ， 然 后 根据 我 们 的 需求 对 其 进 
行 训练 。 
在 这 种 类 型 的 方法 中 ， 提 供 商 通常 将 我 们 与 他 们 的 平台 捆绑 在 一 起 。 我 们 可 能 无 法 
下 载 模型 并 将 其 部 普 到 其 他 任何 地 方 以 供 使 用 。 可 能 需要 与 他 们 联系 起 来 ， 并 利用 我 们 
应 用 程序 中 的 平台 来 使 用 经 过 训练 的 模型 。 
还 有 一 点 要 注意 的 是 ， 如 果 在 以 后 的 某 个 时 间 点 ， 我 们 决定 转移 到 另 一 个 提供 商 ， 
则 无 法 将 训练 后 的 模型 导出 或 导入 男 一 个 提供 商 。 可 能 需要 在 新 的 提供 商 平台 上 再 次 执 
行 训 练 过 程 。 
在 这 种 方法 中 ， 我 们 可 能 需要 为 计算 资源 (硬件 /存储 付费， 此外， 在 训练 之 后 ， 
如 果 要 使 用 训练 后 的 模型 ， 我 们 可 能 仍然 需要 按 使 用 情况 持续 付费 ， 也 就 是 说 ， 按 需 付 
费 。 每 当 我 们 使 用 它 时 ， 都 需要 为 使 用 的 东西 付费 。 
使 用 这 种 方法 的 好 处 如 下 。 
口 ”无须 担 心 训 练 数据 所 需 的 计算 资源 /存储 。 
口 “不 需要 了 解 机 器 学 习 模型 的 细节 即 可 构建 和 训练 定制 模型 。 
口 “只 需 上 传 数据 ， 选 择 用 于 训练 的 模型 即 可 ， 我 们 将 获得 训练 过 的 模型 。 
口 “ 无 须 担 心 模型 部 署 的 位 置 问 题 ， 通 过 移动 应 用 程序 即 可 使 用 。 
采用 这 种 方法 时 ， 需 要 注意 以 下 几 点 。 
口 ”“ 大 多 数 情 况 下 ， 我 们 可 能 会 在 训练 过 程 后 绑 定 到 机 器 学 习 服 务 提供 商 的 平台 ， 
以 便 使 用 训练 后 获得 的 模型 ， 但 是 ， 也 有 一 些 例外 ， 例 如 Google 的 云 平台 。 
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口 我 们 只 能 从 提供 商 提 供 的 模型 中 进行 选择 ， 并 且 只 能 从 可 用 列表 中 选择 。 
DD 无 法 将 训练 之 后 获得 的 模型 从 一 个 平台 迁移 至 男 一 个 平台 ， 因 此 ， 如 果 以 后 要 
更 改 平 台 ， 则 可 能 需要 在 新 平台 上 再 次 训练 。 

口 不 但 需要 为 训练 模型 的 计算 资源 付费 ， 还 需要 支付 后 续 使 用 模型 的 费用 。 

使 用 私有 云 /简单 服务 器 类 似 于 在 通用 云 上 进行 训练 ， 只 是 我 们 需要 自己 管理 计算 资 
源 / 存 储 。 在 这 种 方法 中 ， 我 们 唯一 失去 的 是 通用 云 解 决 方案 提供 商 提 供 的 灵活 性 ， 包 括 
增加 /减少 计算 和 存储 资源 ， 以 及 维护 和 管理 这 些 计 算 资 源 的 开销 等 。 

通过 这 种 方法 获得 的 主要 优势 在 于 获得 数据 的 安全 性 。 如 果 我 们 认为 目 己 的 数据 确 
实 是 唯一 的 ， 并 且 需 要 完全 确保 其 安全 ， 则 这 是 一 种 很 好 的 用 法 。 在 该 方案 中 ， 所 有 事 
情 都 在 内 部 使 用 我 们 自己 的 资源 完成 。 

使 用 这 种 方法 的 好 处 如 下 。 

口 “” 一 切 都 在 我 们 的 绝对 控制 范围 内 ， 包 括 计算 资源 、 训 练 数据 、 模 型 等 。 

口 更 安全 。 

采用 这 种 方法 时 ， 需 要 注意 以 下 几 点 。 

口 “ 一 切 都 需要 由 我 们 自己 来 管理 。 

口 “ 应 该 清楚 了 解 机 器 学 习 的 概念 、 数 据 、 模 型 和 训练 过 程 。 

口 “ 计 算 资 源 / 硬 件 的 持续 可 用 性 将 由 我 们 自己 管理 。 

口 “ 如 果 我 们 的 数据 集 非 常 庞大 ， 那 么 这 可 能 成 本 效益 较 低 ， 因 为 这 可 能 需要 根据 

增加 的 数据 集 规模 扩展 计算 资源 和 存储 量 。 

2. 在 移动 设备 上 

在 移动 设备 上 的 训练 过 程 目 前 仍 不 被 提倡 。 对 于 非常 小 的 数据 集 ， 这 可 能 是 可 行 的 。 
由 于 训练 数据 所 需 的 计算 资源 非常 多 ， 以 及 存储 数据 所 需 的 存储 空间 非常 大 ， 因 此 ， 移 
动 设备 通常 不 是 执行 训练 过 程 的 首选 平台 。 

如 果 使 用 移动 平台 作为 训练 过 程 的 平台 ， 那 么 在 训练 阶段 也 会 变 得 很 复杂 。 


1.4.1.3 进行 推理 的 方法 一 一 做 出 预测 


在 创建 模型 之 后 ， 需 要 将 模型 用 于 新 的 数据 集 以 进行 推理 或 做 出 预测 。 与 采用 各 种 
方式 进行 训练 过 程 的 方式 类 似 ， 我 们 也 可 以 采用 以 下 多 种 方法 来 进行 推理 过 程 。 
口 在 服务 器 上 : 
> 通用 云 计 算 。 
> ”托管 机 髓 学 习 。 
> 私有 云 /简单 服务 器 机 。 
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D 在 设备 上 。 

在 服务 器 上 进行 推理 将 需要 网 络 请 求 ， 并 且 应 用 程序 将 需要 在 线 才 能 使 用 此 方法 ， 
但 是 ， 在 设备 上 进行 推理 意味 看 该 应 用 程序 可 以 是 完全 离线 的 应 用 程序 。 因 此 ， 显 然 ， 
束 速 度 /性 能 等 方面 而 言 ， 在 线 应 用 程序 均 不 如 离线 应 用 程序 。 

但 是 ， 如 末 推 理 需 要 有 更 多 的 计算 资源 《〈 即 需要 更 强 的 处 理 能 力 和 更 多 内 存 ) ， 则 
在 设备 上 是 无 法 进行 推理 的 。 

1. 在 服务 器 上 推理 

来 用 这 种 方法 之 后 ， 一 旦 模型 训练 完成 ， 我 们 束 可 以 将 模型 托管 在 服务 左上， 然后 
束 可 以 通过 应 用 程序 利用 它 。 

采用 该 方法 时 ， 其 模型 可 以 托管 在 云 计算 机 或 本 地 服务 器 中 ， 也 可 以 是 托管 的 机 天 
学 习 提 供 商 的 模型 。 服 务 器 将 发 布 端点 URL， 需 要 对 其 进行 访问 以 使 用 它 进行 所 需 的 预 
测 ， 所 需 的 数据 集 将 作为 输入 传递 给 服务 。 

在 服务 毅 上 进行 推理 将 使 移动 应 用 程序 变 得 更 简单 ,因为 这 样 吏 可 以 定期 改进 模型 ， 
而 不 必 重 新 部 普 移 动 客 户 端 应 用 程序 ， 可 以 将 新 特征 轻松 添加 到 模型 中 ， 而 无 须 为 任何 
模型 更 改 升 级 移动 应 用 程序 。 

使 用 这 种 方法 的 好 处 如 下 。 

口 ”移动 应 用 程序 变 得 相对 人 简单 。 

口 ”可 以 在 不 重新 部 普 客 户 站 应 用 程序 的 情况 下 随时 更 新 模型 。 

DQ ”无须 在 特定 操作 系统 的 平台 中 编写 复 森 的 推理 逻辑 即 可 轻松 支持 多 个 操作 系统 

平台 ， 一 切 都 在 后 端 完成 。 


采用 这 种 方法 时 ， 需 要 注意 以 下 几 点 。 
口 ”该 应 用 程序 只 能 在 联机 模式 下 工作 ， 也 就 是 说 ， 该 应 用 程序 必须 连接 到 后 端 组 
件 才能 执行 推理 逻辑 。 


DD 需要 维护 服务 堪 的 便 件 和 软件 ， 并 确保 其 已 局 动 并 正在 运行 。 在 用 户 增多 的 情 
况 下 ， 它 需要 不 断 扩 展 。 为 了 实现 可 伸缩 性 ， 我 们 需要 管理 多 个 服务 器 ， 确 保 
它们 始终 启动 并 运行 ， 而 这 需要 额外 的 成 本 。 

口 “用户 需要 将 数据 传输 到 后 端 进行 推理 ， 如 果 数 据 量 巨大 ， 那 么 他 们 可 能 会 遇 到 
性 能 问题 。 此 外 ， 用 户 可 能 需要 为 传输 数据 付费 。 

2. 在 设备 上 推理 

采用 这 种 方法 时 ， 机 器 学 习 模 型 将 被 加 载 到 客户 端 移动 应 用 程序 中 。 为 了 做 出 预测 ， 

移动 应 用 程序 将 在 设备 上 以 本 地 方式 使 用 其 所 有 CPU 或 GPU 运行 所 有 推理 计算 。 它 不 
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再 要 与 服务 器 进行 任何 有 关机 需 学 习 的 通信 。 

速度 是 直接 在 设备 上 进行 推理 的 主要 原因 ， 我 们 无 须 通 过 服务 器 发 送 请 求 并 等 行 答 
复 ， 事 情 几 乎 是 瞬间 发 生 的 。 

在 这 种 情况 下 ， 由 于 模型 与 移动 应 用 程序 捆绑 在 一 起 ， 因 此 在 一 个 地 方 升级 模型 并 
音 用 它 不 是 很 容易 ， 移 动 应 用 程序 必须 升级 才能 完成 模型 的 升级 ， 必 须 回 所 有 活动 用 户 
提供 升级 推送 ， 所 有 这 些 都 是 很 大 的 开销 ， 并 且 会 消耗 大 量 的 精力 和 时 间 。 

即使 是 很 小 的 更 改 ， 使 用 很 少 的 其 他 参数 来 重新 训练 模型 也 将 涉及 应 用 程序 升级 的 
复 染 过 程 ， 这 需要 将 升级 版 本 推送 给 实时 用 户 ， 并 维护 相同 的 所 需 基 础 架构 。 

使 用 这 种 方法 的 好 处 如 下 。 


口 用 户 可 以 在 离线 模式 下 使 用 移动 应 用 程序 。 网 络 的 可 用 性 对 于 操作 移动 应 用 程 
序 来 说 变 成 了 可 有 可 无 的 。 

口 ”由 于 模型 和 应 用 程序 源 代 码 都 在 设备 上 ， 因 此 预测 和 推理 可 以 快速 执行 。 

口 ”预测 所 需 的 数据 不 需要 通过 网 络 友 送 ， 因 此 用 户 不 涉及 市 宽 成 本 。 

口 ”没有 运行 和 维护 服务 器 基础 架构 的 开销 ， 也 不 需要 管理 多 个 服务 器 以 实现 用 户 
的 可 伸缩 性 。 

采用 这 种 方法 时 ， 需 要 注意 以 下 几 点 。 

口 由 于 模型 随 应 用 程序 一 起 提供 ， 因 此 很 难 对 模型 进行 更 改 。 当 然 ， 这 并 不 是 说 
完全 不 可 更 改 ， 而 是 说 要 使 更 改 的 版 本 到 达 所 有 客户 端 应 用 程序 是 一 个 很 吊 贵 
的 过 程 ， 需 要 化 费 大 量 的 精力 和 时 间 。 

口 模型 文件 如 果 很 大 ， 则 可 能 会 大 大 增加 应 用 程序 的 大 小 。 

口 需要 为 应 用 程序 支持 的 每 个 操作 系统 平台 (如 1OS 或 Android) 编写 预测 逻辑 。 

口 所 有 模型 都 必须 正确 加 密 或 做 模糊 处 理 ， 以 确保 不 会 被 其 他 开发 人 员 入 侵 。 

本 书 将 研究 利用 SDK 和 工具 在 移动 设备 本 号 以 本 地 方式 执行 与 机 器 学 习 相关 的 任务 

的 详细 信息 。 
1.4.2 流行 的 移动 机 器 学 习 工 具 和 SDK 

以 下 是 将 在 本 书 中 讨论 的 主要 的 机 器 学 习 SDK。 

口 “来自 Google 的 TensorFlow Lite。 

口 来 自 Apple 的 Core ML。 

口 来 日 Facebook 的 Caffe2Go。 

口 来 日 Google 的 ML Kit。 


Fritz.al。 
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我 们 将 详细 介绍 这 些 SDK, 并 使 用 这 些 SDK 和 不 同类 型 的 机 器 学 习 算 法 构建 移动 机 
器 学 习 应 用 程序 示例 。 


1.4.3 ”实现 移动 设备 上 机 器 学 习 应 用 程序 所 需 的 技能 


要 实现 面向 移动 设备 的 机 器 学 习 应 用 程序 ， 开 发 人 员 并 不 需要 对 机 器 学 习 算 法 、 整 
个 过 程 以 及 如 何 建 立 机 器 学 习 模 型 有 非常 深入 的 了 解 。 相 反 ， 他 们 只 需要 知道 如 何 使 用 
iOS 或 Android SDK 创建 移动 应 用 程序 即 可 。 此 外 , 正如 他 们 应 该 知道 如 何 利用 后 端 API 
调用 后 端 业务 逻辑 一 样 ， 他 们 也 再 要 了 解 从 移动 应 用 程序 中 调用 机 器 学 习 模型 并 做 出 预 
测 的 机 制 ， 他 们 还 需要 了 解 将 机 器 学 习 模型 导入 移动 资源 文件 夹 中 ， 然 后 调用 模型 的 各 
种 功能 进行 预测 的 机 制 。 

总 而 言 之 ,图 1-8 显示 了 开发 人 员 在 实现 面向 移动 设备 的 机 器 学 习 应 用 程序 时 应 该 了 
解 的 步骤 。 


Build the Machinelearning model( Outside 
the mobile device) 


Import the built machine learning model into 
the mobile application 


Invoke the model in the mobile application to 
solve the problem in hand. 


图 1-8 
原 文 译 文 
Build the Machine learning model(Outside the mobile device) | 建立 机 器 学 习 模型 (在 移动 设备 外 部 ) 
Import the built machine leaming model into the mobile | 将 构建 的 机 器 学 习 模 型 导入 移动 应 用 


application 程序 

Invoke the model in the mobile application to solve the | 在 移动 应 用 程序 中 调用 模型 以 解决 当前 
Droblem in hand 的 问题 

Step-1 步骤 1 

Step-2 步骤 2 


Step-3 步骤 3 
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他 提示 : 

移动 设备 上 的 机 器 学 习 实 现 类 似 于 后 端 API 集成 。 其 间 ， 可 单独 构建 API 并 在 必要 
时 予以 集成 。 类 似 地 ， 可 在 设备 外 部 单独 构建 模型 ， 将 其 导入 移动 应 用 程序 中 ， 并 在 必 
要 时 于 以 集成 。 


1.5 小 结 


本 章 评 细 曾 述 了 机 器 学 习 的 概念 ， 包 括 机 絮 学 习 的 类 型 、 使 用 它们 的 地 方 以 及 适合 
使 用 它们 的 实际 场景 ， 我 们 还 解释 了 什么 是 明确 定义 的 机 器 学 习 问 题 ， 以 及 何 时 需要 使 
用 机 天 学 习 来 获得 解决 方案 。 从 定义 问题 到 将 模型 部 晋 到 现场 ， 我 们 详细 介绍 了 机 器 学 
习 过 程 以 及 构建 机 器 学 习 模型 所 涉及 的 步骤 。 我 们 讨论 了 机 器 学 习 命 名 空间 中 使 用 的 某 
些 重要 术语 ， 这 些 术语 都 是 很 容易 理解 的 。 

我 们 还 讨论 了 实现 机 器 学 习 应 用 程序 面临 的 挑战 ， 特 别 是 讨论 了 在 移动 设备 上 实现 
机 器 学 习 应 用 程序 的 需求 以 及 与 此 相关 的 挑战 。 接 看 ， 介 绍 了 在 移动 应 用 程序 上 实现 机 
医学 习 的 不 同 设计 方法 。 我 们 还 探讨 了 使 用 每 种 设计 方法 的 好 处 ， 并 指出 了 在 决定 使 用 
不 同方 法 在 移动 设备 上 实现 机 器 学 习 时 需要 分 析 并 牢记 的 重要 考虑 因素 。 最 后 ， 我 们 介 
绍 了 重要 的 面向 移动 设备 的 机 器 学 习 SDK， 在 后 续 章 节 中 还 将 详细 介绍 这 些 SDK， 其 中 
包括 TensorFlow lite、Core ML、Fritz、ML Kit 以 及 基于 云 的 Google Vision 等 。 

第 2 章 将 详细 讨论 有 关 监 督学 习 和 无 监 藻 学 习 以 及 如 何在 移动 设备 上 实现 它 的 更 多 
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在 第 1 章 中 ， 深 入 介绍 了 机 器 学 习 的 各 个 方面 ， 并 曾 述 了 可 以 对 机 器 学 习 算 法 进行 
分 类 的 各 种 方式 。 本 章 将 进一步 研究 机 器 学 习 算 法 ， 并 尝试 理解 监督 学 习 和 无 监督 学 习 
算法 。 这 种 分 类 是 基于 算法 的 学 习 机 制 ， 并 且 是 最 流行 的 。 
在 本 章 中 将 讨论 以 下 主题 。 
口 ”以 详细 的 实际 示例 的 形式 介绍 监督 学 习 算法 ， 以 帮助 理解 它 及 其 指导 原则 。 
DQ 主要 的 监督 学 习 算 法 及 其 应 用 领域 。 
> “朴素 贝 叶 斯 。 
决策 树 。 
线性 回归 。 
逻辑 回归 。 
支持 同 量 机 。 
> ”随机 森林 。 
口 ” 以 详细 的 实际 示例 的 形式 介绍 无 监督 学 习 算 法 ， 以 帮助 理解 它 。 
口 “ 主 要 的 无 监督 学 习 算 法 及 其 应 用 领域 。 
> ” 聚 类 算法 。 
> “关联 规则 映射 。 
DQ ”可 用 于 在 移动 设备 中 实现 这 些 算法 的 不 同 移动 SDK 和 工具 的 概述 。 


VY VY YY 


2.1 监督 学 习 算 法 简介 


让 我 们 来 看 一 下 简单 日 前 活动 的 监督 学 习 例 子 。 一 位 母亲 要 她 15 岁 的 儿子 去 商店 买 
些 蔬 娄 ， 她 预 移 给 出 了 一 份 要 购买 的 牙 荣 清单 ， 例 如 关 葛 卜 、 研 集 根 、 四 季 豆 和 西红柿 。 
儿子 去 商店 ,根据 母亲 提供 的 清单 从 商店 中 出 售 的 众多 蔬 肖 中 挑选 出 目 己 要 购买 的 焉 全 ， 
然后 将 其 放 入 购物 和 车， 最 后 结账 回 家 ， 那 么 ， 这 是 怎么 做 到 的 呢 ? 

很 简单 ， 母 杀 通 过 提供 每 种 蔬菜 的 实例 对 儿子 进行 了 充分 的 训 纤 ， 使 他 对 蔬 沫 有 了 
足够 的 了 解 。 儿 子 利用 他 所 获得 的 知识 来 选择 正确 的 己 沫 ， 他 使 用 蔬 玉 的 各 种 属性 来 获 
得 正确 的 蔬菜 类 别 标签 ， 在 这 种 情况 下 ， 该 标签 就 是 蔬菜 的 名 称 。 表 2-1 提供 了 列表 中 存 
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在 的 蔬菜 的 一 些 属性 ， 儿 子 可 以 通过 这 些 属性 识别 类 别 标 签 ( 即 蔬菜 名 称 )〉。 
表 2-1 蔬菜 名 称 和 属性 列表 


蔬菜 名 称 = 类 标签 西红柿 
属性 1 = 颜色 红色 
属性 2= 形 状 | 国难 | 圆 | 棒状 
属性 3= 质地 一 柔软 多 汗 
属性 4= 尺寸 半径 3 厘米 
| 


属性 5 = 味道 酸 而 


我 们 刚刚 介绍 了 监督 学 习 , 现在 就 可 以 将 这 项 活动 与 机 右 学 习 的 关键 步 又 联系 起 来 。 

口 定义 机 器 学 习 问 题 。 根 据 已 经 获得 的 对 政 业 不 同属 性 的 认 知 训练 和 经 验 ， 从 两 
店 中 所 有 政 业 类 别 中 选择 购买 正确 的 玉 六 类 列 。 

口 准备 /收集 数据 并 训练 模型 。15 岁 的 儿子 已 经 接受 了 所 有 牙 业 知识 的 训练 ， 对 他 
所 见 过 和 吃 过 的 所 有 不 同类 型 蓝 集 的 了 解 ， 以 及 对 它们 的 属性 和 特征 的 了 解 ， 
为 该 模型 形成 了 问题 的 历史 训练 数据 。 

口 评估 模型 。 要 求 儿子 从 商店 中 购买 一 些 蔬 业 。 这 是 提供 给 他 测试 集 以 评估 该 模 
型 。 现 在 ， 该 模型 的 任务 是 根据 提供 的 购买 清单 从 商店 中 识别 出 著 业 的 正确 类 
别 标签 。 

在 东 些 情况 下 ， 识 别 和 购买 正确 的 蔬菜 可 能 会 出 错 。 例 如 ， loll ria men 
《顾名思义 ， 它 比 四 季 豆 要 更 长 ， 也 称 为 下 豆 ) 而 不 是 四 季 豆 ， 这 可 能 是 由 于 对 长 豆角 
Peta tone er pne tlw Mi et leben 
进行 再 训练 ， 以 便 下 次 他 不 会 犯 这 种 错误 。 

通过 这 个 比喻 示例 ， 我 们 可 以 对 监督 学 习 的 基本 概念 和 功能 形成 比较 清晰 的 理解 。 
接 下 来 让 我 们 来 讨论 监督 学 习 的 细节 


2.2 深入 研究 监督 学 习 算 法 


假定 存在 给 定数 据 集 的 预测 变量 属性 xi, x2,…,xn， 以 及 目标 属性 y， 然后， 监督 学 习 
是 一 种 机 器 学 习 任务 ， 它 是 从 该 数 据 集中 找到 将 预测 变量 属性 和 目标 属性 作为 输入 的 预 
测 函 数 ， 并 且 能 够 将 预测 属性 映射 到 目标 属性 ， 即 使 对 于 当前 未 在 训练 数据 集中 看 到 的 
数据 来 说 也 是 如 此 ， 它 还 将 努力 使 误差 (Error) 最 小 。 

用 于 获得 预测 函数 的 数据 集中 的 数据 称 为 训练 数据 (Training Data) ， 它 由 一 组 训练 
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示例 组 成 ， 其 中 每 个 示例 均 由 输入 对 象 蕊 (通常 是 矢量 ) 和 所 需 的 输出 值 了 组 成 。 监 督 
学 习 算 法 将 分 析 训 练 数据 并 产生 一 个 将 输入 映射 到 输出 的 推理 函数 ， 这 样 它 也 可 用 于 了 映 
射 新 的 、 未 见 过 的 示例 数据 : 
了 = /AI) + error 
整个 算法 类 别称 为 监督 学 习 〈Supervised Leaming) ， 因 为 在 这 里 将 考虑 输入 和 输出 
变量 进行 学 习 。 在 这 种 情况 下 ， 监 督学 习 算法 驶 是 为 训练 数据 的 所 有 实例 提供 得 入 和 训 
练 数据 中 的 预期 输出 。 


ES 提示 : 

监督 算法 既 具 有 预测 变量 属性 ( Predictor Attribute ) ， 又 具有 目标 函数 (Objective 
Function ) 。 一 组 数据 项 中 的 预测 变量 属性 是 被 认为 可 以 预测 目标 函数 的 那些 项 。 目 标 函 
数 是 机 器 学 习 的 目标 ， 这 通常 会 带 入 预测 变量 属性 ， 可 能 还 具有 其 他 一 些 计 算 功 能 ， 并 
且 通 常会 输出 单个 数值 。 


一 旦 我 们 定义 了 需要 监督 学 习 的 适当 机 器 学 习 问 题 ， 那 么 下 一 步 就 是 选择 能 够 解决 
问题 的 机 器 学 习 算 法 。 这 是 最 艰 巳 的 任务 ， 因 为 存在 大 量 的 学 习 算 法 ， 而 从 中 选择 最 合 
适 的 学 习 算 法 对 很 多 开发 人 员 来 说 都 是 一 件 不 容易 的 事情 。 
Pedro Domingos 教授 提供 了 一 个 简单 的 参考 架构 (https://homes.cs.washington.edu/ 
~pedrod/papers/cacm12.pdf) ， 在 此 基础 上 ， 对 于 任何 机 器 学 习 算 法 ， 都 可 以 使 用 以 下 3 
个 必要 的 关键 组 成 部 分 来 进行 算法 选择 。 
口 ” 表 示 〈Representation) 。 表 示 模 型 以 便 是 计算 机 可 以 理解 的 方式 ， 也 可 以 将 其 
视 为 模型 将 在 其 中 起 作用 的 假设 空间 (Hypothesis Space) 。 

D 评估 (Evaluation) 。 对 于 每 种 算法 或 模型 ， 都 需要 具有 评估 或 评分 图 数 ， 以 确 
定 哪 种 算法 或 模型 的 效果 更 好 。 每 种 算法 的 评分 函数 都 不 同 。 

口 “优化 Optimization) 。 一 种 在 语言 中 搜索 模型 以 获得 最 高 得 分 的 方法 。 优 化 拉 
术 的 选择 是 学 习 算 法 效率 不 可 或 缺 的 部 分 ， 如 宁 评 佑 函数 具有 多 个 最 优 值 ， 还 
可 以 帮助 确定 所 生成 的 模型 。 

监督 学 习 问 题 可 以 进一步 分 为 分 类 和 回归 问题 。 

口 “分 类 〈Classification) 。 当 输出 变量 是 类 别 〈 例 如 绿色 或 红色 ， 好 或 坏 ) 时 ， 即 


为 分 类 问题 。 
口 回归 (Regression) 。 当 输出 变量 为 实数 值 〈 例 如 美元 或 重量 ) 时 ， 即 为 回归 
问题 。 


本 节 将 通过 一 些 易于 理解 的 示例 介绍 以 下 监督 学 习 算法 。 
口 ”朴素 贝 叶 斯 。 
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决策 树 。 
线性 回归 。 
逻辑 回归 |。 
支持 向 量 机 。 
随机 森林 。 


2.2.1 朴素 贝 叶 斯 


朴 款 由 叶 斯 是 一 种 强大 的 分 类 算法 ， 基 于 贝 叶 斯 定理 (Bayes Theorem) 的 原理 实现 ， 
它 假 定数 据 集中 考虑 的 特征 变量 之 间 不 存在 依赖 天 系 。 

贝 叶 斯 定理 基于 对 可 能 与 事件 相关 的 条 件 的 先 验 知 识 来 描述 事件 的 概率 。 例 如 ， 如 
末 剖 证 与 年 龄 有 关 ， 则 在 使 用 贝 叶 斯 定理 的 情况 下 ， 一 个 人 的 年 龄 可 以 用 来 评估 他 患 交 
症 的 可 能 性 ， 这 比 在 不 知道 其 年 龄 的 情况 下 去 评估 他 患 癌 症 的 可 能 性 会 更 准确 。 

朴素 贝 叶 斯 分 类 器 (Naive Bayes Classifier) 假定 类 中 某 个 特定 特征 的 存在 与 任何 其 
他 特征 的 存在 无 天 。 例 如 ， 如 果 某 一 种 下 沫 为 橙色 、 圆 锥 形 且 长 度 约 为 3 英寸 ， 则 可 以 
认为 它 是 胡萝卜 。 该 算法 之 所 以 称 为 Naive， 是 因为 它 独 立地 考虑 了 所 有 这 些 属性 ， 从 而 
增加 了 这 种 蔬 沫 是 妆 克 小 的 可 能 性 。 一 般 来 说 ， 这 些 特征 并 不 是 独立 的 ， 但 朴 亲 贝 叶 斯 
则 从 预测 的 角度 认为 它们 是 独立 的 。 

现在 ,来 看 一 看 使 用 朴素 贝 叶 斯 算法 的 实际 用 法 。 假设 有 阁 干 条 动态 新 闻 ， 并 且 希 
望 将 这 些 动 态 新 闻 分 类 为 文化 事件 (Cultural Events) 和 非 文 化 事件 。 让 我 们 考虑 以 下 
句子 。 

口 ”戏剧 活动 顺利 进行 一 一 文化 事件 。 

口 ”这 场 展 好 的 公众 集会 吸引 了 大 量 人 和 群 一 一 非 文 化 事件 。 

D 音乐 表演 很 棒 一 一 文件 事件 。 

口 戏剧 活动 来 了 很 多 人 一 一 文化 事件 。 

口 ”政治 辩论 非常 有 益 一 一 非 文 化 事件 。 

当 使 用 贝 叶 斯 定理 时 ， 要 做 的 束 是 使 用 概率 (Probability) 来 计算 上 述 句 子 是 属于 文 
化 事件 还 是 非 文 化 事件 。 

在 胡萝卜 示例 中 ， 上 有 具有 颜色 、 形 状 和 大 小 等 特征 ， 将 所 有 这 些 特征 都 视 为 独立 的 ， 
以 确定 所 考虑 的 蔬菜 是 否 为 胡萝卜 。 

同样 ， 要 确定 新 闻 材 质 是 否 与 文化 活动 有 关 ， 可 以 先 取 一 个 句子 ， 然 后 从 句子 中 取 
出 单词 ， 并 将 每 个 单词 视 为 一 个 独立 的 特征 。 

幢 叶 斯 定理 指出 , P(4 | B)= P(B | 4)P(4)/P(B), 其 中 , P(Cultural Event | Dramatic show 


DUUDUDO 
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goodj = P(Dramatic show good | Cultural Event)P(Cultural Event)/P(Dramatic show goog)。 
由 于 我 们 需要 确定 哪个 标签 在 文化 和 非 文 化 类 别 中 均 具 有 较 高 的 概率 ， 因 此 可 以 在 
此 处 丢弃 分 母 。 文 化 事件 和 非 文 化 事件 的 分 母 将 是 整个 数据 集 ， 因 此 是 相同 的 。 
P(Dramatic show good) 无 法 被 找到 ， 因 为 这 句 话 在 训练 数据 中 不 会 出 现 ， 因 此 ， 以 
下 才 是 朴素 贝 叶 斯 定理 真正 起 作用 的 地 方 。 
P(Dramatic show goo0d) = P(Dramatic)P(show)P(eoo0d) 
P(Dramatic show good|Cultural event) = P(Dramatic|cultural event)P(Showlcultural 
event)| P(egood|cultural event) 
现在 可 以 很 容易 地 计算 出 这 些 值 ， 以 确定 新 的 动态 新 闻 是 文化 事件 新 闻 还 是 政治 事 
件 新 闻 的 概率 。 
P(Cultural event) = 3/5 (5 个 句子 里 面 有 3 个 句子 是 文化 事件 ) 
P(Non-cultural event) = 214 
P(Dramatic/cultural event)( 计 和 宽 在 文化 事件 标签 中 Dramatic 出 现 的 次 数 ) = 2/13 (在 文化 事 
件 标 签 的 总 单词 数 中 ，Dramatic 出 现 了 2 次 ) 
P(Show/cultural event) = 1/13 
P(good/cultural event) = 1/13 
的 提示 
有 多 种 技术 可 用 于 使 文本 分 类 的 特征 识别 更 有 效 ， 例如 删除 停止 词 ( Stop Word， 也 
称 为 停 用 词 ) 、 单 词 变 体 还 原 (Lemmatizing ) 、N-grams 和 词 频 - 逆 向 文件 频率 (Term 
Frequency-Inverse Document Frequency，TF-IDF ) 。 在 接 下 来 的 章节 中 ， 将 介绍 其 中 的 一 
些 内 容 。 


表 2-2 是 最 终 的 计算 摘要 。 


表 2-2 最 终 统计 

单词 (单词 | 非 文化 事件 ) 
Dramatic ”Ws3 | 0 

show 0 

Good M3 113 


现在 ， 我 们 只 将 概率 相 乘 ， 看 一 看 哪个 更 大 ， 然 后 将 句子 放 入 该 标签 类 别 中 。 
因此 ， 从 表 2-2 中 知道 该 标签 将 属于 文化 事件 类 别 ， 因 为 当 各 个 概率 相 乘 时 ， 该 类 别 
的 乘积 更 大 。 
这 些 示 例 很 好 地 展示 了 朴素 贝 叶 斯 定理 ， 该 定理 可 以 应 用 于 以 下 领域 。 
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文本 分 类 。 

垃圾 邮件 过 滤 。 

文档 分 类 。 

社交 媒体 中 的 情感 分 析 。 

基于 类 型 (Genre) 的 新 闻 文 章 分 类 。 


2.2.2 决 案 树 


决策 树 (Decision Tree) 算法 可 用 于 根据 条 些 条 件 做 出 决策 。 请 注意 ,决策 树 是 上 下 
其 倒 的 ， 其 根 在 项 部。 

以 一 个 公司 的 数据 为 例 ， 其 中 的 特征 集 由 茶 些 软件 产品 及 其 属性 组 成 一 一 构建 产品 
所 花费 的 时 间 T、 构建 产品 所 花费 的 人 力 无 ， 以 及 构建 产品 所 花费 的 成 本 C。 我 们 需要 决 
定 这些 产 品 客 竟 应 该 是 由 公司 内 部 制造 还 是 直接 从 公司 外 部 购买 。 

现在 ， 看 一 看 如 何 为 此 创建 决策 树 。 在 图 2-1 中 ， 黑 色 加 粗 文 字 表 示 条 件 / 内 部 节点 
(Condition/Internal Node) ， 树 将 基于 此 条 件 分 型 为 分 支 /边缘 (Branch/Edge) 。 不 再 分 
裂 的 分 文 末 奖 称 为 决策 / 叶 (Decision/Leaf) 。 


DODD 


Yes 


ls Cost > Million USD | Buy the Product 


ls effort > 5000 Heurs 和 马 LIY 七 门 所 让 FOdUICt 


lsthe schedule> 1 Yes 
year Buy the product 


No 


Build the product 
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原 文 译 文 
Is Cost> Million USD 成 本 是 否 大 于 100 万 元 
Yes 是 
Buy the product 直接 从 公司 外 部 购买 产品 
NO 合 
Is effort>5000 Hours 工作 量 是 否 大 于 5000 小 时 
Is the schedule>1 year 完成 开发 是 否 需要 1 年 以 上 
Build the product 企业 内 部 自己 开发 产品 


决策 树 可 用 于 计划 管理 、 项 目 管 理 和 风险 计划 。 让 我 们 看 一 个 实际 的 例子 ， 图 2-1 
显示 了 攻 个 企业 用 来 决定 它 的 哪些 软件 由 内 部 开发 哪些 软件 直接 从 外 部 购买 的 决 集 树 。 
在 做 出 决策 之 前 ， 需 要 考虑 各 种 决策 点 ， 并 且 以 树 的 形式 表示 。 成 本 、 工 作 量 和 开发 时 
间 这 3 个 特征 被 认为 是 决定 从 外 部 购买 还 是 企业 内 部 目 己 开 上 用 的 决定 因 隶 。 

图 2-1 中 的 树 被 称 为 分 类 树 (Classification Tree) ， 因 为 其 目的 是 对 要 购买 或 制造 的 
产品 性 质 进行 分 类 。 回 归 树 (Regression Tree) 以 相同 的 方式 表示 ， 只 是 它们 将 预测 连续 
的 值 ， 例 如 房屋 价格 。 一 般 来 说 ， 决 策 树 算 法 被 称 为 分 类 和 回归 树 (Classification And 
Regression Trees, CART) 。 

决策 树 可 应 用 于 以 下 领域 。 

口 风险 识别 。 

0D ” 贷 球 处 理 。 

DD ”选举 结果 预测 。 

D 流程 优化 。 

口 “可 选 定价 。 


2.2.3 ”线性 回归 


线性 回归 (Linear Regression) 是 一 种 统计 分 析 方法 ， 用 于 查找 变量 之 间 的 关系 ， 它 
有 助 于 了 解答 入 和 输出 数值 变量 之 间 的 关系 。 

在 这 种 方法 中 ， 确 定 因 变 量 (Dependent Variable) 很 重要 ， 例 如， 房屋 的 价值 ( 因 
变量 ) 将 因为 房屋 的 大 小 而 有 所 不 同 ， 也 就 是 说 ， 房 屋面 积 大 小 一 一 这 是 一 个 目 变 量 
(Independent Variable〉》， 是 决定 房屋 价值 的 重要 因 系 之 一 。 此 外 ， 房 屋 的 价值 也 因 其 地 
理 位 置 ( 这 也 是 一 个 日 变量 ) 而 有 很 大 的 不 同 。 线 性 回归 技术 可 用 于 预测 。 

当 结 果 为 连续 变量 时 , 将 使 用 线性 回归 。 图 2-2 清楚 地 显示 了 一 个 变量 的 线性 回归 工 
作 原 理 ， 房 子 的 价格 将 因为 其 大 小 而 有 所 不 同 。 
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0 Crore INR | 


Price Range 


10 Lakhs INR— 
| | 


图 2-2 


原文 译文 | 原文 译文 
10 Crore INR 600 平 方 米 
i 大 小 区 间 

10 Lakhs INR 2500 平方 米 


线性 回归 可 以 应 用 于 以 下 领域 。 


口 市 场 营销 。 
口 定价 。 
DO 促销 。 


口 “分 析 消 费 者 行为 。 
2.2.4 ”逻辑 回归 


逻辑 回归 (Logistic Regression) 是 一 种 分 类 算法 ， 最 适合 于 要 预测 的 输出 为 二 进 制 
类 型 ( 真 或 假 、 男 性 或 女性 、 获 胜 或 失败 等 ) 的 情况 。 二 进 制 类 型 间 味 看 只 有 两 个 结果 
所 谓 逻 辑 回 归 是 因为 该 算法 使 用 了 S 型 冰 数 (Sigmoid Function)。 
逻辑 函数 或 逻辑 曲线 是 弟 见 的 S 型 (S 型 曲线 ) ， 由 以 下 等 式 表示 : 
FU 一 


在 上 式 中 的 符号 含义 如 下 。 
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口 e: 目 然 对 数 辰 数 〈 也 称 为 欧 拉 数 ) 。 
图 | Xo: S 型 的 中 点 的 x 值 。 

口 工 : 曲线 的 最 大 值 。 

口 天 曲线 的 陡 度 〈Steepness) 。 


标准 逻辑 函数 称 为 S 型 函数 : 


SS(X) 一 - 


li+e™ 


如 图 2-3 所 示 就 是 S 型 函数 曲线 ， 这 确实 是 一 条 看 起 来 像 S 的 曲线 。 


该 曲线 有 以 下 限制 。 

口 xx 趋同 -oo 时 趋 阿 0。 

口 x 趋 回 +w 时 趋向 1。 

当 x=0 时 ，S 型 函数 的 输出 为 0.5。 

因此 ， 如 果 输 出 大 于 0.5， 则 可 以 将 结果 分 类 为 1 (或 YES) ; 如 果 输 出 小 于 0.5， 
则 可 以 将 其 分 类 为 0 (或 NO) 。 例 如 ， 如 果 输 出 为 0.65( 用 概率 术语 表示 ) ， 则 可 以 解 
释 为 今天 有 65% 的 概率 会 下 雨 。 

也 就 是 说 ，S 型 函数 的 输出 不 能 仅 用 于 对 YES/NO 进行 分 类 ， 它 也 可 以 用 来 确定 
YES/NO 的 概率 。 它 可 以 应 用 于 以 下 领域 。 

D 图 像 分 割 与 分 类 。 

DD 地 理 图 像 处 理 。 

DO 手写 识别 。 

口 医疗 保健 ， 用 于 疾病 预测 和 基因 分 析 。 


. 38 。 面向 移动 设备 的 机 器 学 习 
口 ” 对 各 个 领域 进行 预测 〈 只 要 其 预计 输出 结果 为 二 元 形式 即 可 ) 。 
2.2.5 支持 向 量 机 


支持 同 量 机 (Support Vector Machine，SVM) 是 一 种 可 监督 的 机 器 学 习 算 法 ， 可 用 
于 分 类 和 回归 。SVM 更 常用 于 分 类 。 

给 定 一 些 数据 点 ， 每 个 数据 点 属于 两 个 二 进 制 类 之 一 ， 目 标 是 确定 新 数据 点 将 属于 
哪个 类 。 我 们 需要 将 数据 点 可 视 化 为 p 维 辐 量 ， 并 且 和 需要 确定 我 们 是 否 可 以 使 用 (p-1) 
维 超 平面 来 分 离 这 样 的 两 个 数据 点 。 

可 能 有 许多 将 这 些 数 据点 分 隔 开 的 超 平面 (Hypermplane) ， 该 算法 将 帮助 我 们 获得 提供 
最 大 间 隅 分 离 的 最 佳 超 平面 。 该 超 平面 称 为 最 大 余 量 超 平 面 (Maximum-Margin Hyperplane ) ， 
分 类 器 称 为 最 大 余 量 分 类 器 (Maximum-Margin Classifier) 。 我 们 可 以 扩展 分 离 超 平 面 的 
概念 ， 以 使 用 所 谓 的 软 边 距 (Soft Margin) 开发 几乎 分 离 类 的 超 平面 。 将 最 大 余 量 分 类 
恬 推 广 到 不 可 分 离 的 情况 即 称 为 支持 同 量 分 类 髓 (Support Vector Classifier) 。 

现在 来 看 一 看 图 2-4 所 示 的 第 一 个 例子 , 在 这 种 情况 下 , 有 一 个 超 平 面 将 深 色 点 和 涛 
色 扣 分开 。 


图 2-4 
但 是 , 不 妨 按 如 图 2-5 所 示 的 情况 想象 一 下 这 些 点 的 分 布 , 考虑 如 何 识 别 将 深 色 点 和 


浅 色 点 分 开 的 超 平面 
解决 方案 是 使 用 SVM 识别 超 平面 , 它 可 以 执行 转换 以 识别 将 两 者 分 开 进行 分 类 的 超 
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平面 ， 它 将 引入 一 个 新 特征 >， 即 z=x +y。 让 我 们 用 x 和 = 轴 绘 制图 形 ， 并 标识 用 于 分 
类 的 超 平 面 ， 如 图 2-6 所 示 。 


图 2-6 


现在 ， 我 们 已 经 理解 了 SVM 的 基础 知识 ， 即 可 来 看 一 下 可 以 应 用 SVM 的 领域 。 
口 人 有 上 脸 检 测 。 
口 图 像 分 类 。 
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口 、 生 物 信息 学 。 
口 、 地 质 与 环境 科学 。 
口 ”遗传 学 。 

口 蛋白质 研 究 。 

口 手写 识别 。 


2.2.6 ”随机 和 森林 


前 文 已 经 介绍 过 决策 树 。 在 理解 了 决 倘 树 之 后 ， 不 妨 来 看 一 下 随机 森林。 随机 森林 
将 许多 决策 树 组 合 为 一 个 模型 。 束 个 别 而 襄 ， 决 策 树 (或 人 类 ) 所 做 的 预测 可 能 不 准确 ， 
但 如 果 能 将 它们 组 合 在 一 起 ， 则 从 平均 意义 来 说 ， 这 些 预 测 将 更 接近 目标 。 

图 2-7 显示 了 一 片 随机 和 森林， 其 中 有 多 株 树 ， 每 株 树 都 在 进行 预测 。 


原 文 译 文 
Tree 1 树 1 
Tree 2 树 2 
Tree 3 树 3 


随机 森林 是 许多 决策 树 的 组 合 ， 因 此 ， 存 在 更 大 的 可 能 性 ， 使 森林 中 所 有 树木 的 许 
多 视图 都 可 以 达到 最 终 所 需 的 结果 /预测 。 如 果 仅 考虑 单个 决策 树 进行 预测 ， 则 用 于 预测 
的 信息 就 会 更 少 。 但 是 在 随机 森林 中 ， 当 涉及 许多 树木 时 ， 信 息 来 源 是 多 种 多 样 的 。 与 
决策 树 不 同 ， 随 机 森林 没有 偏见 ， 因 为 它们 不 依赖 于 一 个 来 源 。 

图 2-8 演示 了 随机 森林 的 概念 。 
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Inputs 


Tree Predictions 


Random Forest Prediction 
pe 


原文 译文 
Inputs ”输入 《|Tee2 | 树 : 
Tree Predictions 树 3 
Tree 1 随机 森林 预测 


随机 森林 可 以 应 用 于 以 下 领域 。 
风险 识别 。 

贷款 处 理 。 

选举 结果 预测 。 

流程 优化 。 

可 选 定价 。 


DDUDUD 


2.3 无 监督 学 习 由 法 简介 


考虑 以 下 情况 : 给 孩子 一 个 装 满 各 种 大 小 、 颜 色 、 形 状 和 用 各 种 材质 制 成 的 珠子 的 
袋子 。 我 们 只 是 让 孩子 用 整 袋 珠子 做 他 们 想 做 的 事情 。 

根据 他 们 的 兴趣 ， 孩 子 可 以 做 很 多 事情 。 

口 根据 大 小 将 珠子 分 类 。 

口 根据 形状 将 珠子 分 类 。 
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口 “根据 颜色 和 形状 的 组 合 将 珠子 分 类 。 

口 “ 根 据 材 质 、 颜 色 和 形状 的 组 合 将 珠子 分 类 。 

这 种 可 能 性 是 无 止境 的 ， 但 是 ， 没 有 任何 先 验 知识 的 孩子 能 够 遍历 所 有 珠子 ， 并 发 
现任 何 模式 〈 并 且 根 本 不 需要 任何 先 验 知 识 ) 。 他 们 纯粹 是 通过 遍历 手边 的 珠子 〈 即 手 
头 的 数据 ) 来 发 现 模式 的 ， 这 就 是 典型 的 无 监督 机 器 学 习 例子 。 

我 们 可 以 将 上 述 活动 与 机 器 学 习 的 关键 步 又 联系 起 来 。 

(1) 定义 机 器 学 习 问题 。 从 给 定 的 珠子 袋 中 发 现 珠子 的 隐藏 模式 。 

(2) 准备 /收集 数据 并 训练 模型 。 孩 子 打开 一 袋 珠 子 ， 了 解 袋 子 里 装 的 东西 ， 他 们 发 


现 珠子 存在 不 同 的 属性 。 
口 颜色 。 
口 形状 。 
口 大 小 。 
口 材质 。 


(3) 评估 模型 。 如 果 给 孩子 提供 了 一 组 新 的 珠子 ， 那 么 他 们 将 如 何 根 据 以 前 对 珠子 
进行 聚 类 (Cluster〉 的 经 验 来 对 这 些 珠子 进行 聚 类 ? 

将 珠子 分 组 时 可 能 会 出 现 错 误 ， 需 要 校正 /修改 ， 以 免 将 来 再 次 出 现 。 

以 上 就 是 介绍 的 无 监督 机 器 学 习 问 题 的 基本 概念 和 函数 ， 接 下 来 将 深入 研究 无 监督 
学 习 的 细节 。 


2.4 深入 研究 无 监督 学 习 算 法 


无 监督 机 器 学 习 可 以 处 理学 习 无 标签 的 数据 ( 即 疝 未 分 类 的 数据 ， ， 并 得 出 与 之 相 
关 的 结论 /模式 。 

这 些 类 别 从 无 标签 或 尚未 分 类 的 测试 数据 中 学 习 。 无 监督 学 习 并 不 是 采用 啊 应 反馈 也 
方法 ， 而 是 可 以 识别 数据 中 的 共性 ， 并 根据 每 个 新 数据 中 是 否 存 在 此 类 共性 来 做 出 反应 。 

由 于 提供 给 学 习 算 法 的 输入 是 未 标记 的 ， 因 此 ， 并 没有 直接 的 方法 来 评估 该 算法 的 
输出 的 正确 率 。 这 是 区 分 无 监督 学 习 和 有 监督 学 习 的 一 项 特征 。 


他 是 示 . 
无 监督 学 习 算 法 具有 预测 变量 属性 ， 但 没有 目标 函数 。 
没有 目标 就 进行 学 习 意 味 独 什么 ? 可 考虑 以 下 方面 。 
口 探索 数据 以 进行 自然 分 组 。 
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口 “学习 关 联 规 则 ， 人 然后 检查 它们 是 否 有 任何 用 处 。 

以 下 是 一 些 经 典 示例 。 

D 执行 市 场 饥 子 分 析 ， 然 后 优化 货架 分 配 和 放置 。 

口 ”级 联 或 相关 的 机 械 故 障 。 

DD ”已 知 关 别 以 外 的 人 口 统计 分 组 。 

口 ”计划 产品 捆绑 销售 。 

本 刷 将 通过 一 些 易 于 理解 的 示例 来 介绍 以 下 无 监督 学 习 算 法 。 
DD 关联 规则 映射 。 


O 注意 : 
如 果 你 想 深入 研究 这 些 概念 , 也 可 能 会 对 主 成 分 分 析 ( Principal Component Analysis 
PCA ) 和 奇 异 值 分 解 人 Singlular Value Decomposition, SVD ) 感 兴 趣 。 


2.4.1 聚 类 算法 


聚 类 算法 可 以 将 数据 聚 类 为 有 用 的 组 。 聚 类 的 目标 是 创建 数据 点 的 组 ， 以 使 不 同 聚 
类 中 的 点 不 相似 ， 而 聚 类 中 的 点 则 是 相似 的 。 

聚 类 算法 的 工作 有 以 下 两 个 基本 要 系 。 

口 相似 度 函 数 〈(Similarity Function) 。 这 决定 了 如 何 确定 两 个 点 相似 。 

口 ” 聚 类 方法 (Clustering Method) 。 这 是 为 了 完成 聚 类 而 观察 到 的 方法 。 

我 们 需要 一 种 机 制 来 确定 点 之 间 的 相似 性 ， 在 此 基础 上 可 以 将 它们 归 类 为 相似 或 不 
相似 。 有 目前 有 各 种 相似 性 度量 方法 ， 举 例如 下 。 

口 ” 欧 几 里 得 相似 度 (Euclidean Similarity) : 


ST ,cpg (d, 3 d, ) | 


口 余弦 相似 度 (Cosine Similarity) : 


口 KL 散 度 (KL-Divergence) : 
z df 
D(i#)= 5 , 忆 lg 全 = 3,p, logp,— ,plogg, 


=-—H(p)+H(p,q) 
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一 旦 知道 了 相似 性 度量 的 结果 ， 接 下 来 就 需要 选择 聚 类 方法 。 下 面 将 详细 介绍 以 下 
两 种 聚 类 方法 。 

DD ”层次 聚集 聚 关 方法 。 

口 KK- 均 值 聚 类 算法 。 

1. 层次 聚集 聚 类 方法 

聚集 式 层 次 聚 类 (Agglomerative Hierarchical Clustering ) 是 统计 领域 的 经 典 聚 类 算法 。 
它 涉及 两 个 最 相似 的 组 的 迭代 合并 ， 它 们 的 第 一 步 将 包含 日 个 元 素 。 该 算法 的 名 称 指 的 
是 它 的 工作 方式 ， 因 为 它 以 聚集 或 目下 而 上 的 方式 〈 即 通过 将 较 小 的 组 合并 为 较 大 的 组 ) 
创建 层次 结构 结果 。 

以 下 是 在 文档 聚 类 中 使 用 的 这 种 聚 类 方法 的 高 级 算法 。 

(1) 通用 的 聚集 过 程 , 通过 迭代 产生 出 套 的 聚 类 。 参见 Salton, G 著 : 4utomartic Text 
Processing: The Transformation, Analysis, and Retrieval of Information by Computer (《 目 动 
文本 处 理 : 计算 机 的 信息 转换 、 分 析 和 检索 》) ，Addison-Wesley 1989 年 出 版 社 。 

(2) 计算 所 有 成 对 的 文档 和 文档 之 间 的 相似 性 系数 。 

(3) 将 nn 个 文档 中 的 每 一 个 文档 放 入 其 目 己 的 类 中 。 

(4) 将 两 个 最 相似 的 聚 类 合并 为 一 个 。 

D 口 用 新 的 聚 关 痊 换 两 个 聚 类 。 


口 重新 计算 关于 新 聚 类 的 聚 类 间 的 相似 性 评分 。 
口 ”如 果 聚 类 半径 大 于 最 大 值 ， 则 阻止 进一步 合并 。 
(5) 重复 上 一 步 ， 直 到 只 剩 下 大 个 聚 类 。 (注意 : 可 以 等 于 1) 


2. K- 均 值 聚 类 算法 

K- 均 值 聚 类 算法 〈K-means Clustering) 的 目标 是 在 数据 中 找到 个 组 ， 每 个 组 具有 
相似 的 数据 点 。 该 算法 可 以 根据 提供 的 特征 以 迭代 方式 将 每 个 数据 点 分 配给 K 个 组 之 一 。 
数据 点 基于 特征 相似 性 进行 聚 类 。 

在 算法 开始 时 ， 将 随机 分 配 K 值 ， 并 且 可 以 通过 更 改 K 值 获得 不 同 的 结果 变化 ， 一 

日 选 择 了 K 后 就 开始 了 算法 的 活动 序列 。 我 们 发 现 有 两 个 主要 步骤 会 不 断 重 复 ， 直 到 聚 
类 中 没有 进一步 的 变化 范围 为 止 。 

重复 执行 的 两 个 主要 步骤 是 步骤 2 和 步骤 3， 如 下 所 示 。 

口 “步骤 2: 将 数据 集中 的 数据 点 分 配给 K 个 聚 类 中 的 任何 一 个 。 这 是 通过 计算 数 
据点 与 聚 类 形 心 (Centroid) 的 距离 来 完成 的 。 按 照 规 定 ， 我 们 已 经 讨论 的 任何 
距离 函数 都 可 以 用 于 此 计算 。 

口 ”步骤 3: 再 次 在 此 处 进行 形 心 的 重新 校准 。 通 过 获取 分 配给 该 形 心 聚 类 的 所 有 数 
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据点 的 平均 值 来 完成 此 操作 。 
该 算法 的 最 终 输 出 是 具有 相似 数据 点 的 开 个 聚 类 。 
(1) 选择 seeds d(fa, 万) > dmin。 


(2) 根据 最 小 距离 将 点 分 配给 聚 类 : 
Cluster(p;) = Argmin(d(p,,s;)) 
= 


(3) 计算 新 的 聚 类 形 心 : 


人 二 
了 77 . 
Pi;E eluster 


(4) 将 点 重新 分 配给 聚 关 〈 如 步骤 2 所 示 ) 。 
(5) 达 代 和 直到 没有 扣 更 改 群集 。 

以 下 是 一 些 可 以 应 用 聚 类 算法 的 领域 。 

口 城市 规划 。 

口 ”地震 研究 。 


口 “保险 。 
口 “营销 。 


DD 医学 ， 用 于 抗 阔 活性 分 析 和 医学 成 像 。 
口 犯罪 分 析 。 
口 机 器 人 ， 用 于 寞 第 检 测 和 目 然 语言 处 理 。 


2.4.2 天 联 规则 学 习 算法 


关联 规则 (Association Rule) 挖 据 对 于 分 类 非 数 季 数 据 更 有 用 。 关 联 规则 挖掘 主要 
集中 于 在 一 组 项 目 中 查找 频繁 的 同 现 关 联 (Co-Occurring Association) ， 有 时 也 称 为 市 场 
购物 篮子 分 析 (Market-Basket Analysis) 。 

在 对 购物 者 的 购物 篮 的 分 析 中 ， 其 目标 是 确定 哪些 商品 经 营 一 起 出 现 。 这 表明 很 难 
从 随机 采样 方法 中 找到 相关 关系 。 典 型 的 例子 是 著名 的 啤酒 和 尿布 关联 ， 它 在 数据 挖掘 
书籍 中 经 第 所 到 。 人 情况 是 这 样 的 : 去 商店 买 尿 布 的 男人 也 倾 问 于 买 啤酒 。 这 种 情况 很 难 
通过 随机 抽样 来 了 解 或 确定 。 

和 琴 尔 玛 在 2004 年 发 现 了 男 一 个 例子 ， 当 时 一 系列 飓风 横扫 佛罗里达 。 沃 尔 玛 想 知 道 
在 飓风 来 表 之 前 购物 者 通常 会 购买 什么 。 他 们 友 现 一 种 特殊 的 商品 在 正常 购物 日 内 的 销 
售 额 增长 了 7 倍 。 该 商品 不 是 瓶装 水 、 电 池 、 啤 酒 、 手 电 和 位、 发 电机 或 我 们 想象 中 的 任 
何 普 通商 品 ， 而 是 草 等 塔 塔 饼 ! 在 飓风 到 来 之 前 ， 为 什么 这 才 是 民众 最 想 要 的 产品 昵 ? 
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原因 可 能 有 多 种 ， 草 莓 果 塔 饼 不 需要 冷藏 ， 不 需要 煮 熟 ， 可 以 单独 包装 ， 它 们 保质 期 长 ， 
既 可 以 是 休闲 食品 ， 也 可 以 是 早餐 食品 ， 大 人 和 孩子 都 喜欢 ， 诸 如 此 类 ， 不 一 而 足 。 

尽管 有 这 些 明 显 的 原因 ， 但 这 仍然 是 一 个 巨大 的 惊喜 ! 

在 挖掘 关联 时 ， 以 下 思路 可 能 会 有 用 。 

口 “ 搜 索 非 数 字 项 的 罕见 和 异常 同 现 关 联 。 

口 ”如 果 数 据 是 基于 时 间 的 数据 ， 请 考虑 在 数据 挖掘 实验 中 引入 时 间 澡 后 的 效果 ， 

以 查看 该 相关 性 的 强度 是 否 在 以 后 的 时 间 达 到 峰值 。 

市 场 购物 篮子 分 析 可 以 应 用 于 以 下 领域 。 

口 零售 管理 。 

口 ”店铺 管理 。 

D 库存 管理 。 

口 ” 美 国 国家 航空 航天 局 (NASA) 和 环境 研究 。 

口 医学 诊断 。 


2.5 小 人 


本 章 通 过 一 个 简单 的 示例 介绍 了 监督 学 习 的 概念 ， 并 深入 研究 了 监督 学 习 算法 。 我 
们 通过 实际 示例 讨论 了 各 种 监督 学 习 算 法 ， 并 指出 了 它们 的 应 用 领域 ， 然 后 义 从 简单 示 
例 开 始 介绍 了 无 监督 学 习 。 我 们 阐释 了 无 监督 学 习 的 概念 ， 并 通过 实际 示例 介绍 了 各 种 
无 监督 学 习 算 法 ， 并 分 别 指出 了 其 应 用 领域 。 

在 后 续 章 市 中 ， 将 通过 使 用 本 章 介 绍 的 一 些 监 督 机 器 学 习 和 非 监督 机 器 学 习 算 法 来 
解决 移动 设备 上 机 右 学 习 的 问题 。 本 书 还 将 介绍 移动 机 右 学 习 SDK, 并 通过 这 些 SDK 实 
现 移 动机 占 学 习 解 决 方 膝 。 


2.6 参考 文献 
Pedro Domingo 博士 的 论文 总 结 了 机 器 学 习 研 究 人 员 和 从 业 人 员 需 要 学 习 的 12 堂 关 


键 课程 ， 包 括 应 避免 的 陷阱 、 应 重点 关注 的 重要 问题 ， 以 及 该 领域 弟 见 问题 的 解答 等 ， 
其 网 址 如 下 : 


https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf 
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本 章 将 详细 介绍 随机 森林 算法 。 我 们 将 首先 了 解决 策 树 算法 ， 在 掌握 了 它 之 后 ， 即 
可 尝试 理解 随机 森林 算法 。 然 后 ， 我 们 将 使 用 Core ML 创建 一 个 机 器 学 习 程序 ， 该 程序 
利用 随机 森林 算法 并 根据 一 组 给 定 的 乳腺 癌 患 者 数据 预测 串 者 被 诊断 出 患 有 乳腺 癌 的 可 


能 性 。 


正如 在 第 1 章 “ 面 同 移动 设备 的 机 器 学 习 应 用 程序 ”中 所 看 到 的 那样 ， 任 何 机 占 学 习 
程序 都 有 4 个 阶段 : 定义 机 器 学 习 问 题 、 准 备 数据 、 构 建 /重建 /测试 模型 ， 以 及 部 蜀 模 型 
以 供 使 用 。 本 章 会 等 试 将 它们 与 随机 森林 算法 相关 联 ， 并 解决 铺 层 的 机 器 学 习 问 题 。 

问题 定义 Problem Definition) : 给 定 某 些 患 者 的 乳腺 癣 数据 ， 我 们 希望 针对 新 数据 
项 预测 诊断 乳 脲 六 的 可 能 性 。 

本 章 将 讨论 以 下 主题 。 

口 ”理解 决策 树 算法 以 及 如 何 应 用 它们 以 解决 一 个 机 器 学 习 问 题 。 

DD 通过 示例 数据 集 和 Excel 理解 决策 树 。 

口 ”理解 随机 森林 。 

DD 在 Core ML 中 使 用 随机 和 森林 解决 问题 。 


万 


> 
> 
> 
> 


技术 要 求 。 
使 用 scikit-learn 和 pandas 库 创建 模型 文件 。 
测试 模型 。 


将 scikit-leam 模型 导入 Core ML 项 目 。 
写 10S 移动 应 用 程序 并 在 其 中 使 用 scikit-leam 模型 执行 乳腺 癌 预 测 。 


3.1 算法 简介 


本 市 将 研究 决策 树 算法 。 我 们 将 通过 一 个 例子 来 理解 该 算法 ， 一 旦 熟悉 了 该 算法 ， 
则 可 以 竹 试 通过 一 个 例子 来 理解 随机 森林 算法 。 


3.1.1 决策 树 


要 理解 随机 森林 模型 ， 必 须 衣 先 了 解决 委 树 ， 因 为 它 是 随机 森林 的 基本 构建 块 。 即 
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使 你 此 前 对 “ 决 集 树 ” 一 无 所 知 ， 但 是 ， 在 日 第 生活 中 ， 我 们 经 党 会 不 目 澳 地 使 用 到 决 
末 树 。 在 看 完 本 示例 之 后 ， 你 将 能 够 很 好 地 理解 决策 树 的 概念 。 

假设 你 需要 问 银 行 贷 丈 ， 银 行 在 批准 倪 球 之 前 会 先进 行 审核 ， 合 看 你 是 否 符 合 一 系 
列 资格 标准 。 对 于 每 个 客户 ， 银 行 提供 的 贷 葡 额 将 根据 客户 满足 的 不 同 资格 标准 而 有 所 
不 同 。 

他 们 可 能 会 按 各 种 不 同 的 决策 点 回 有 前， 以 便 做 出 最 终 决 定 ， 以 决定 是 否 可 以 提供 贫 
球 和 “如果 决定 可 以 贷款 的 话 〉 允许 提供 的 倪 球 总 和 额 。 这 些 决 策 点 可 能 包括 以 下 内 容 。 

口 “ 收 入 来 源 : 有 固定 工作 还 是 自由 职业 者 ? 

口 如果 有 固定 工作 ， 工 作 职 位 :私营 部 门 还 是 政府 部 门 ? 

口 如果 是 私营 部 门 ， 工 资 范 围 ， 低 、 中 还 是 高 ? 

口 ”如 果 是 政府 部 门 ， 工 资 范 围 ， 低 、 中 还 是 高 ? 

可 能 还 有 其 他 问题 ,例如 你 在 该 公司 工作 了 多 长 时 间 ， 或 者 你 是 否 有 未 偿还 的 贷款 。 
最 基本 的 形式 是 一 个 如 图 3-1 所 示 的 决策 树 。 


Self Business 


employment 


Private Government 
Sector Sector 


Salary Range Salary Range 


Medium 
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原文 译文 
Source of Income (Government Sector 政府 部 门 
Employed Salary Range 工资 范围 
Self Business Ww 低 
Place of employment Medum 中 
Private Sector High 高 

如 图 3-1 所 示 , 决策 树 是 用 于 分 类 问题 的 , 它 是 广泛 使 用 的 非 参数 式 高 效 的 机 器 学 习 
建 模 技术 。 为 了 找到 解决 方案 ， 诀 集 树 将 根据 预测 变量 数据 对 结果 进行 顺序 、 分 层 的 

对 于 任何 给 定 的 数据 项 ， 都 会 提出 一 系列 问题 ， 这 将 导致 一 个 类 标签 或 一 个 值 。 该 
模型 会 询问 传 入 数据 项 的 一 系列 预定 义 问题 ， 并 基于 这 些 答案 ,分支 到 该 系列 并 继续 进 
行 ， 直 到 a 到达 结 果 数 据 值 或 类 标签 为 止 。 该 模型 是 基于 观察 到 的 数据 构建 的 ， 没 有 对 误 
产 分 布 或 数据 本 吴 的 分 布 进行 任何 假设 。 

在 目标 变量 使 用 离散 值 集 的 决策 树 模型 中 ， 这 称 为 分 类 树 (Classification Tree) 。 在 
这 些 树 中 ， 每 个 节点 或 叶子 代表 类 标签， 而 分 文 代表 通 阿 类 标签 的 了 要素 。 

目标 变量 采用 连续 值 〈( 通 稼 是 数字 ) 的 决策 树 称 为 回归 树 (Regression Tree) 。 

使 用 有 癌 无 环 图 (Directed Acyclic Graphs，DAG) 可 以 很 好 地 表示 这 些 决 策 树 。 在 
这 些 图 中 , 市 把 表示 决策 点, 边 是 节 扣 之 间 的 连接 ,在 上 面 的 贫 球场 景 中 , $30000 一 $70000 
的 工资 范围 是 边 ， 而 中 间 的 值 则 是 节点 。 

1. 决策 树 算 法 的 优点 

决策 树 的 目标 是 为 给 定 问 题 找 到 最 佳 选择 。 最 后 的 叶子 节点 应 该 是 解决 当前 问题 的 
最 佳 选择 。 该 算法 表现 贫 要 ， 并 在 做 出 的 每 个 决策 中 符 试 达到 最 佳 选 择 。 

整个 问题 分 为 多 个 子 问 题 ， 每 个 子 问 题 都 可 以 分 文 到 其 他 子 问题 。 到 达 的 子 集 将 基 
于 某 个 参数 ， 这 个 参数 称 为 纯度 (Purity) 。 当 所 有 决策 将 导致 数据 属于 同一 类 时 ， 则 称 
该 节点 为 100% 纯 。 如 果 有 可 能 将 其 子 集 划 分 为 类 别 时 ， 则 将 是 100% 不 纯 。 该 算法 的 目 
标 是 使 树 中 的 每 个 节点 达到 100% 的 纯度 。 

节点 的 纯度 是 使 用 基尼 不 纯度 〈Gini Inpurity) 进行 测量 的 ， 而 基尼 不 纯度 则 是 有 助 
于 拆 分 决策 树 节 点 的 标准 度量 。 

决策 树 中 将 使 用 的 男 一 个 上 度量 标准 是 信息 增益 (Information Gain) ， 它 将 用 于 确定 
在 树 的 每 个 步 又 中 应 该 使 用 数据 集 的 哪些 特征 进行 拆 分 。 信 息 增益 是 将 数据 集 按 属性 拆 
分 后 降低 焙 〈 随 机 性 ) 。 构 造 决 策 树 就 是 要 寻找 返回 最 咒 信 息 增 益 〈 即 最 同 质 的 分 文 ) 
的 属性 ， 这 童 味 看 寻找 所 有 属于 同一 子 集 或 类 的 数据 。 


s OO" 
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2. 决策 树 的 缺点 

仅 当 所 有 数据 点 都 可 以 归 入 单个 类 /类 别 时 ， 模 型 才 会 停止 。 因 此 ， 对 于 复杂 的 问题 ， 
它 可 能 无 法 很 好 地 概括 ， 并 且 存 在 偏见 的 可 能 性 很 高 。 

通过 定义 树 的 最 大 深度 或 通过 指定 在 树 中 进一步 拆 分 节点 所 需 的 最 小 数据 点 数 ， 可 


以 解决 这 些 问题 。 
3. 决策 树 的 优点 
以 下 是 列 出 的 优点 。 
口 易于 理解 和 可 视 化 。 
口 易于 构建 ， 可 以 处 理 定 性 和 定量 数据 。 
口 “易于 验证 。 
口 从 计算 上 说 ， 它 并 不 是 很 昂贵 。 
人 提示 : 
总 结 一 下 决策 树 模 型 可 以 得 出 结论 ， 它 基本 上 是 导致 预测 的 问题 的 流程 图 。 


中 区 民 / 


随机 和 森林 


现在 ， 让 我 们 从 单个 决 梨 树 转 移 至 随机 森林 算法 。 如 果 你 想 猜 测 下 一 任 寺 国 总 统 将 
是 谁 ， 那 么 应 该 如 何 预测 这 一 点 呢 ? 让 我 们 看 一 看 为 预测 这 一 点 将 要 提出 的 各 种 问题 。 


有 几 位 候选 人 ? 他 们 分 别 是 谁 ? 
现任 总 统 是 谁 ? 

他 们 各 目的 表现 如 何 ? 

他 们 属于 哪 一 党 ? 

目前 有 任何 反对 该 党 的 运动 吗 ? 
政党 在 多 少 个 州 中 有 获胜 的 可 能 性 ? 
候选 人 中 有 现任 总 统 吗 ? 

主要 的 投票 问题 是 什么 ? 


我 们 会 想到 很 多 这 样 的 问题 ， 我 们 将 赋予 它们 不 同 的 权重 /重要 性 。 
每 个 人 对 上 述 问 题 的 预测 可 能 会 有 所 不 同 。 有 太 多 因素 需要 考虑 ， 而 且 每 个 人 的 猜 


测 可 能 会 
理解 可 能 


有 上 所 不 同 。 每 个 人 都 有 不 同 的 背景 和 知识 水 平 来 回答 这 些 问 题 ， 并 且 对 问题 的 
有 所 不 同 。 


因此 ， 对 于 上 述 问题 的 答案 有 很 大 的 差异 。 如 果 分 别 采 用 不 同 个 体 给 出 的 所 有 预测 ， 
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然后 将 它们 平均 化 ， 它 将 变 成 一 个 随机 森林 。 
随机 和 森林 将 许多 决策 树 组 合 为 一 个 模型 。 个 别 而 言 ， 决 策 树 (或 人 类 ) 做 出 的 预测 
可 能 不 准确 ， 但 是 如 果 将 这 些 预 测 组 合 起 来 ， 则 从 平均 意义 上 来 说 ， 它 们 将 更 接近 目标 。 
图 3-2 可 以 帮助 我 们 理解 使 用 随机 森林 算法 的 投票 预测 。 


] Us 1 | Tree2- 
.| Poll lssue | Leadership 


| 
| 


: 
- 


Predicted | 人 


Dutput Output 


而 


Predicted | 
I 
OQutput 


革 3-2 
原 文 译 文 
Tree 1-Poll Issue Tree 1- 投 票 问 题 
Predicted Output 预测 的 输出 
Tree2-Leadership Tree 2- 领 导 力 
Tree3 Rural Acceptance Tree 3- 亲 民 程 度 


图 3-3 给 出 了 图 3-2 的 流程 图 。 

现在 来 看 一 看 为 什么 随机 穆 林 比 决 策 树 更 好 。 

口 “” 随 机 森林 是 许多 决策 树 的 组 合 ， 因 此 ， 综 合 很 多 观点 进行 最 终 预测 并 获得 正确 
结果 的 可 能 性 更 大 。 

口 如果 仅 考 虑 单个 决策 树 进 行 预 测 ， 则 用 于 预测 的 信息 束 会 少 很 多 。 但 是 ， 在 一 
个 随机 的 森林 中 ， 当 涉及 许多 树木 时 ， 就 会 有 更 多 的 信息 ， 而 且 信 息 也 更 加 多 
样 化 。 


I. 


面 回 移动 设备 的 机 器 学 习 


原 文 译 文 
Inputs 树 2 
Tree Predictions 人 树 3 
Tree 1 村 LU 


随机 森林 预测 

口 “随机 森林 可 能 不 会 像 决 策 树 那样 带 有 偏见 ， 因 为 它 不 依赖 于 单个 来 源 。 

为 什么 叫 随机 森林 ? 就 像 人 们 可 能 依赖 不 同 的 来 源 进行 预测 一 样 ， 森 林 中 的 每 个 决 
策 树 在 形成 问题 时 都 会 考虑 特征 的 随机 子 集 ， 并 且 只 能 访问 随机 的 一 组 训练 数据 点 。 这 
增加 了 森林 中 的 多 样 性 ， 从 而 产生 更 可 靠 的 整体 预测 ， 因 此 也 叫 “随机 森林 ”。 


3.2 在 Core ML 中 使 用 随机 森林 解决 问题 
本 节 将 尝试 通过 带 有 特定 数据 集 的 详细 示例 来 理解 随机 森林 。 我 们 将 使 用 相同 的 数 
据 集 来 构建 iOS Core ML 示例 。 


3.2.1 数据 集 


我 们 将 使 用 乳腺 况 数 据 集 解决 随机 秩 林 问题 ， 其 特征 可 以 从 乳腺 肿块 的 细 针 罕 刺 抽 
吸 (Fine Needle Aspirate，FNA) 的 数字 化 图 像 中 计算 ， 它 们 描述 了 图 像 中 存在 的 细胞 核 
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的 特征 。 该 数据 集 可 以 在 以 下 网 址 找到 : 
https://archive.ics.uci.edu/ml/datasets/Breast+Cancert Wisconsint ( Diagnostic ) 


我 们 将 使 用 乳腺 况 数 据 集 ， 以 下 内 容 包 含 该 数据 集中 使 用 的 各 种 数据 。 
口 ”身份 证 号 。 
口 诊断 (CM= 和 恶 性 ，B= 民 性) 。 
口 为 每 个 细胞 核 计算 10 个 实 值 特征 。 

> 半径 (从 中 心 到 外 围 点 的 距离 的 平均 值 〉。 
纹理 〈( 灰 度 值 的 标准 偏差 )。 
周 长 (Perimeter) 。 
面积 (Area) 。 
平滑 度 (半径 长 度 的 局 部 变化 )。 
致密 度 (Perimeter^?2 /Area -1.0) 。 
中 度 轮廓 叫 部 的 严重 程度 )， 
止 点 《轮廓 止 部 的 数量 ) 。 
对 称 。 

> “分形 维 数 〈 海 兰 线 近似 -1) 。 

我 们 将 通过 Excel 使 用 随机 和 森林， 并 应 用 乳腺 癌 数 据 集 ， 以 详细 理解 随机 森林 算法 。 

为 了 分 析 的 目的 ， 我 们 将 仅 考 虑 来 自 乳 腺 剖 数 据 集 的 569 个 样本 数据 中 的 数据 元 素 。 


3.2.2 ”技术 要 来 


需要 在 开 太 人 员 机 器 上 安装 以 下 软件 。 

UU Python 。 

口 ”macOs 环境 中 的 Xcode。 

本 章 的 练习 程序 可 以 在 以 下 GitHub 存储 库 的 Chapter03 文件 夹 中 找到 。 
https://aithub.com/PacktPublishing/Machime-Learning-for-Mobile 

首先 可 以 输入 以 下 命令 来 安装 Python 软件 包 。 


Pip install pandas 


VY VY VY YY YY YY Y 


pip install =U scikit—learn 
Pip install -U pandas 


然后 ， 发 出 命令 以 安装 coremltools。 


Pip install -U coremltools 
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3.2.3 使 用 scikit-learn 创建 模型 文件 


本 市 将 详细 曾 释 如 何 使 用 scikit-learn 创建 随机 和 森林 模型 文件 ， 并 将 其 转换 为 与 Core 
ML 兼容 的 .mlmodel 文件 。 我 们 将 使 用 乳 脲 辛 数 据 集 来 创建 模型 。 以 下 是 一 个 Python 程 
序 , 该 程序 使 用 scikit-learn 和 乳腺 癌 数 据 集 创建 了 一 个 简单 的 随机 森林 模型 。 然 后 ，Core 
ML 工具 将 其 转换 为 与 Core ML 兼容 的 模型 文件 。 现 在 来 详细 了 解 一 下 该 程序 。 
首先 ， 需 要 导入 所 需 的 软件 包 。 
# 导入 所 需 的 软件 包 
import numpy as np 
NumpPy 是 使 用 Python 进行 科学 计算 的 基本 软件 包 , 它 包含 一 个 功能 强大 的 n 维 数 组 
对 象 。 此 numpy 数组 将 在 此 程序 中 用 于 存储 数据 集 ， 该 数据 集 具 有 14 个 维度 。 
impart pandas as pd 
Erom pandas Cor nort series 
在 这 里 使 用 的 是 pandas (https://pandas.pydata.org/pandas-docs/stable/10min.html》， 它 
一 于 开源 软件 ,BSD 许可 的 库 , 可 以 提供 高 性 能 、 昂 于 使 用 的 数据 结构 ,也 是 可 用 于 Python 
编程 语言 的 数据 分 析 工 具 。 使 用 pandas， 可 以 创建 一 个 数据 帧 (DataFrame) 。 可 以 假设 
pandas 数据 帧 是 一 个 Excel 工作 表 ， 其 中 每 个 工作 表 都 有 标题 和 数据 。 
现在 ， 让 我 们 继续 理解 为 解决 眼前 的 机 器 学 习 问 题 而 编写 的 程序 。 
from sklearn.ensemble import RandomForestClassifier 


from sklearn.metrics import accuracy SCore 
import sklearn.datasets as dsimport sklearn.datasets as ds 


上 面 的 代码 行 可 以 导入 skleam 软件 包 。 现在， 将 在 sklearn 软件 包 中 导入 内 置 数 据 集 。 

dataset = ds.load breast cancer()} 

上 一 行 可 从 skleam 数据 集 包 中 加 载 乳腺 癌 数 据 集 : 

cancerdata = pd.DataFrame (dataset .data) 

这 将 通过 数据 集中 存在 的 数据 创建 一 个 数据 帧 。 假 设 数据 集 是 一 个 具有 行 和 列 且 带 
有 列 标题 的 Excel 工作 表 。 


cancerdata.columns = dataset.feature names 
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以 下 代码 段 可 以 将 列 标题 添加 到 数据 集中 的 列 。 


for 1 in range (0, len(dataset.feature names)}: 

if [| mean concave points', ‘mean area'y, mean radius'y, ‘mean perimeter'y, 
Imean concavity'].\ 

contains {dataset.feature names|[i|l): 

continue 

else: 


cancerdata = cancerdata.dropldataset.feature names|[i|], axis=1)} 


上 面 的 代码 行将 删除 除 以 下 内 容 以 外 的 所 有 列 。 

口 “ 平 均 和 凹 点 (Mean Concave Points) 。 

口 平均 面积 (Mean Area) 。 

口 ”平均 半径 〈Mean Radius) 。 

UD “平均 周 长 (Mean Perimeter) 。 

口 “ 和 平均 凸 度 〈Mean Concavity) 。 

为 了 减少 数据 集中 要 系列 的 数量 ， 删 除了 一 些 对 模型 影响 较 小 的 列 。 


cancerdata.to csv{l"myfile.csv") 


上 面 的 代码 行 会 将 数据 保存 到 CSV 文件 ， 你 可 以 将 其 打开 并 在 Excel 中 碍 看 以 找 出 
数据 集中 存在 的 内 容 。 


Cancer types = dataset.target names 


在 Excel 数据 集中 ， 当 检查 它 时 ， 即 可 知道 诊断 将 包括 值 为 0 或 1， 其 中 0 为 恶性 ， 
1 为 民 性 。 要 将 这 些 数字 值 更 改 为 实际 名 称 ， 可 以 编写 以 下 代码 。 

cancer names = | 

// 使 用 name [string] 格 式 获取 所 有 相应 的 癌症 类 型 

for 1 in range (len (dataset .target})}): 

cancer names.append(cancer types[ldataset -target [1 工 | | ) 

x 七 Talnyw xX 七 ESt YY train, Y test = 

sklearn.model selection.train test split(cancerdata,cancer names, 


Lest Si7ze — 0.3. Taom state = 3) 


上 述 代 人 码 会 将 数据 集 分 为 两 部 分 ， 一 部 分 用 于 训练 ， 一 部 分 用 于 测试 ， 并 将 其 保存 
在 为 此 目的 定义 的 相应 变量 中 。 


classifier = RandomEorestClassifier{() 
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上 述 代码 将 创建 一 个 分 类 器 。 
classilier.Titlx train, YY train) 


此 代码 将 提供 训练 数据 并 训练 模型 : 
// 使 用 测试 数据 测试 模型 


Print(classifier.predictt(x test)) 


上 述 代码 将 打印 测试 数据 的 预测 癌症 类 型 到 控制 台 ， 其 结果 如 图 3-4 所 示 。 


图 3-4 
3.2.4 将 scikit 模型 转换 为 Core ML 模型 


让 我 们 用 一 个 例子 来 说 明 : 假设 有 一 个 来 自 法 国 的 游客 ， 他 只 会 说 法 语 和 英语 。 想 
象 一 下 他 进入 了 酒店 的 餐厅 ， 服 务 生 在 这 里 为 他 提供 了 用 中 文 编写 的 菜单 。 现 在 ， 他 会 
怎么 做 ? 我 猪 他 可 能 会 请 求 服务 员 或 其 他 用 和 餐 者 同 他 解释 沫 单 中 的 菜品 ， 或 者 也 可 以 很 
简单 地 使 用 “谷歌 翻译 ”软件 扫 摘 沫 单 中 的 

我 们 的 观点 是 他 只 \ 需 要 一 个 翻 泽 软件 就 可 以 。 同样 ， 为 了 使 1OS 移动 应 用 程序 能 够 
理解 scikit 模型 ， 需 要 一 个 能 将 其 转换 为 Core ML 格式 的 转换 器 。 
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这 就 是 以 下 代码 的 全 部 工作 ， 它 可 以 将 scikit-leam 格式 转换 为 Core ML 格式 。 
// 将 适用 的 模型 转换 为 Core ML 模型 文件 


model = coremltools.converters.sklearn.convert (classifier, 
input features=list (cancerdata.columns.values), 
output Teature names=" typeoftcancer") 


model.save(" "cancermodel .mlmodel™) 
要 让 上 述 代码 能 够 正常 工作 ， 必须 使 用 pip 安装 coremltools， 然 后 在 顶部 编写 以 下 代 
人 码 以 将 其 导入 局 


import coremltools 


运行 该 程序 后 ， 将 在 磁盘 中 获得 一 个 名 为 Cancermodel.mlmodel 的 模型 文件 ， 在 iOS 
项 目 中 可 以 使 用 该 模型 进行 推理 。 


3.2.5 ”使 用 Core ML 模型 创建 iOS 移动 应 用 程序 


在 本 小 节 中 将 创建 一 个 使 用 Core ML 的 i0S 项 目 ， 为 此 将 需要 Xcode ( 它 必 须 为 9+ 
版 本 ) 。 

首先 打开 Xcode， 使 用 故事 板 〈Storyboard) 创建 一 个 空 的 swift 应 用 程序 。 在 项 目 列 
表 中 可 以 看 到 主 故 事 板 的 名 称 为 Main.storyboard。 将 生成 的 模型 文件 添加 到 项 目 中 ， 将 
产生 如 图 3-$ 所 示 的 项 目 结构 。 


跨国 宇 妆 汪 龟 委 叫 时 
Vv 回 sample 
硬 sample 
el cancermodel.mlmodel 


=| AppDelegate.swift 


= ViewController.swift 


图 上 
Assets.xcassets 
| LaunchScreen.storyboard 
Info.plist 
四 Products 
7 sample.s pp 


图 3-5 
现在 可 以 在 主 故事 板 文件 中 创建 如 图 3-6 所 示 的 用 户 界 面 (UI) 。 


。58 。 面 同 移动 设备 的 机 器 学 习 


Vie Contreller 


图 3-6 


为 每 个 文本 字段 创建 Outlet, 并 将 事件 侦 听 器 添加 到 每 个 Outlet 和 文本 字段 , 视图 控 
制作 代码 如 下 所 示 。 


import UIKit 
import Core ML 
class ViewController: UIViewController { 
let model = cancermodel () 
AIBOutlet weak var meanradius: UITextField! 
QIBOuUutlet weak Var cancertype: UILabel! 
QIBOuUutlet weak Var meanperimeter: UITextField! 
QIBOutlet weak Var meanarea: UITextField! 
QIBOutlet weak var meanconcavity: UITextField! 
AIBOutlet weak var meanconcavepoints: UITextField! 
override func didReceiveMemoryWarning() |{ 
super.didReceiveMemoryWarning l() 
// 处 置 所 有 可 以 重新 创建 的 资源 
} 
override func viewDidLoad() | 
SUuper.viewDidLoad (});，; 
updated (meanconcavepoints); 


// 该 行 是 要 引发 瘤 症 类 型 的 初步 更 新 
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/ 到 
此 方法 会 将 输入 数据 发 送 到 生成 的 模型 类 ， 并 将 返回 的 结果 显示 在 标签 上 
eg 


QIBAction func updated!( sender: Any) 1{ 
guard let modeloutput = try? model .prediction (mean radius: 
Double (meanradius.textil})!, mean perimeter: 
Double (meanperimeter.text!)})!, mean area: Double (meanarea.text!)})!, 
mean concavity: Double (meanconcavity.text!)!, mean concave points: 
Double (meanconcavepoints.text!)') else { 
fatalError( unexpected runtime error"™) 


} 


cancertype.text = modeloutput.typeofcancer; 


} 
读者 可 以 在 本 书 的 GitHub 存储 库 中 找到 相同 的 代码 。 


从 提示 : 
如 果 读 者 在 构建 该 程序 时 遇 到 任何 问题 ， 例 如 签名 或 证 书 问 题 ， 可 以 自行 通过 搜索 
解决 或 给 我 们 写 信 。 


一 旦 在 Xcode 中 设置 了 项 目 ， 束 可 以 在 模拟 右 中 运行 它 ， 其 结果 如 图 3-7 所 示 。 


二 iPhone 8 Plus - i0S 11.0 


图 3-7 
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3.3 小 和 


本 章 深 入 讨论 了 决策 树 和 随机 森林 ， 以 及 它们 之 间 的 区 别 。 我 们 还 通过 样本 数据 集 
和 Excel 探索 了 决策 树 ， 并 对 其 使 用 了 随机 和 森林 算法 以 建立 预测 。 我 们 使 用 了 Core ML 
编写 10S 程序 ， 然 后 应 用 scikit-leam 创建 模型 ， 并 使 用 Core ML 工具 将 scikit 模型 转换 
为 Core ML 模型 。 

第 4 章 将 详细 介绍 TensorFlow 及 其 在 Android 中 的 使 用 。 


34 深入 阅读 


开发 人 员 可 以 通过 访问 Core ML 的 官方 网 站 来 进一步 了 解 Core ML 及 其 提供 的 服 
务 ， 其 网 址 如 下 : 


https://developer.apple.com/documentation/coreml 
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在 第 2 章 中 ， 重 点 研究 了 有 监督 的 学 习 和 无 监督 的 学 习 ， 并 阐述 了 不 同类 型 的 学 习 
算法 。 本 章 将 详细 介绍 TensorFlow 移动 版 (TensorFlow for mobile) ， 并 使 用 TensorFlow 
for mobile 进行 了 示例 程序 实现 。 在 第 9 章 “ 移 动 设 备 上 的 神经 网 络 ” 中 ， 将 使 用 它 来 实 
现 分 类 算法 。 但 是 在 此 之 前 ， 需要 了 解 TensorFlow for mobile 的 工作 原理 ， 并 能 够 使 用 它 
来 编写 示例 ， 然 后 才能 使 用 它 实 现 机 器 学 习 算 法 。 本 章 的 目的 是 介绍 TensorFlow、 
TensorFlow Lite、TensorFlow for mobile 及 其 工作 方式 ， 并 尝试 在 Android 中 使 用 
TensorFlow for mobile 的 实际 示例 。 

本 章 将 讨论 以 下 主题 。 

DD TensorFlow、TensorFlow Lite 和 TensorFlow for mobile 简介 。 

口 ”TensorFlow for mobile 的 组 件 。 

D 移动 机 器 学 习 应 用 程序 的 体系 结构 。 

口 在 Android 中 使 用 TensorFlow for mobile 构建 示例 程序 。 

在 本 章 结 束 时 ， 将 知道 如 何在 Android 中 使 用 TensorFlow for mobile 构建 应 用 程序 ， 
以 便 为 第 9 章 “ 移 动 设 备 上 的 神经 网 络 ” 使 用 它 来 实现 分 类 算法 打下 基础 。 


4.1 关于 TensorFlow 


TensorFlow 是 由 Google 开发 的 用 于 实现 机 器 学 习 的 工具 ， 于 2015 年 开源 。 该 产品 
可 安装 在 台式 机 上 ， 可 用 于 创建 机 器 学 习 模 型 。 一 旦 在 果 面 上 构建 并 训练 了 模型 ， 开 发 
人 员 便 可 以 将 这 些 模型 转移 到 移动 设备 上 ， 并 将 它们 集成 到 10S 和 Android 移动 应 用 程 
序 中 ， 以 使 用 它们 预测 移动 应 用 程序 中 的 结果 。 目 前 有 两 种 TensorFlow 可 用 于 在 移动 和 
能 入 式 设备 上 实现 机 器 学 习 解 决 方案。 

口 移动 设备 : TensorFlow for Mobile。 

口 ”移动 和 航 入 式 设 备 : TensorFlow Lite。 

表 4-1 列 出 了 TensorFlow for mobile 和 TensorFlow Lite 之 间 的 主要 区 别 。 


oI" 
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表 4-1 TensorFlow for mobile 和 TensorFlow Lite 之 间 的 主要 区 别 


TensorFlow for moblle 


设计 用 于 更 大 的 设备 
程序 已 针对 移动 设备 进行 了 优化 


支持 跨 Android、iOS 和 Raspberry Pi 在 CPU、GPU 
和 TPU 中 进行 部 署 
建议 用 于 移动 设备 中 的 生产 部 署 


提供 更 广泛 的 运算 符 和 机 器 学 习 模型 支持 


TensorFlow Lite 
设计 用 于 非常 小 的 设备 
程序 实际 上 非常 小 巧 ， 针 对 移动 和 风 入 式 设备 进 
行 了 优化 ， 具 有 最 小 的 依赖 性 和 增强 的 性 能 
支持 硬件 加 速 , 可 以 在 iOS、Android 和 Raspberry 
Pi 上 进行 部 署 
仍 处 于 Beta 测试 阶段 ， 并 且 正 在 进行 改进 
支持 有 限 的 运算 符 ， 并 且 不 是 所 有 的 机 器 学 习 模 
型 都 能 够 支持 


本 节 将 详细 介绍 TensorFlow Lite 的 总 体 架 构 、 关 键 组 件 及 其 功能 。 
图 4-1 提供 了 关键 组 件 的 高 级 概述 ， 以 及 它们 将 机 器 学 习 带 入 移动 设备 的 交互 方式 。 


TensorFlow 


Trained Tensor 
Flow Model 


TensorFlow Lite 
Convertor 


Desktop 


Trained ML 
Model 


Cloud ML 
solutions 
Cloud Server 


Data 
Trained TensorFlow Model 


TensorFlow 
Lite Model 


TensorFlow Lite 
Interpreter 


Kernels 


译文 
数据 
经 过 训练 的 TensorFlow 模型 
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原 文 译 文 
TensorFlow Lite Convertor TensorFlow Lite 转换 器 
Desktop 台式 机 
Trained ML Model 经 过 训练 的 机 器 学 习 模 型 
Cloud ML solutions 云 机 器 学 习 解 决 方案 
Cloud Server 云 服 务 器 
TensorFlow Lite Model TensorFlow Lite 模型 
TensorFlow Lite Interpreter TensorFlow Lite 解释 器 
Kernels 内 核 
Mobile 移动 设备 


以 下 是 在 设备 上 实现 机 妖 学 习 时 应 遵循 的 关键 步骤 。 

(1) 使 用 TensorFlow 或 任何 其 他 机 器 学 习 框 架 在 台式 机 上 创建 经 过 训练 的 
TensorFlow/ 机 响 学 习 模 型 ， 也 可 以 使 用 任何 云 机 器 学 习 引 擎 创建 的 经 过 训练 的 模型 。 

(2) 使 用 TensorFlow Lite 转换 器 (Convertor) 组 件 将 经 过 训练 的 机 器 学 习 模 型 转换 
为 TensorFlow Lite 模型 文件 。 

(3) 使 用 这 些 文件 编写 一 个 移动 应 用 程序 ， 并 将 其 转换 为 一 个 包 ， 以 在 移动 设备 中 
进行 部 署 和 执行 。 这 些 Lite 文件 可 以 直接 在 内 核 (Kemel) 或 硬件 加 速 器 (如 果 设 备 中 可 
用 的 话 ) 中 解释 和 执行 。 

以 下 是 TensorFlow Lite 的 关键 组 件 。 

口 模型 文件 格式 。 

DD 解释 器 (Interpreter) 。 

口 运算 /内 核 。 

口 ”硬件 加 速 接口 。 

1. 模型 文件 格式 

以 下 是 模型 文件 格式 的 知识 要 点 。 

口 “ 它 是 轻 量 级 的 ， 几 乎 没有 软件 依赖 性 。 

DD 它 文 持 量化 。 
此 格式 基于 FlatBuffer， 因 此 提高 了 执行 速度 。FlatBuffer 是 Google 的 开源 项 目 ， 
最 初 是 为 视频 游戏 设计 的 。 

口 FlatBuffer 是 一 个 鹭 平台 的 序列 化 库 ， 类 似 于 协议 组 神 区 。 

口 ”此 格式 的 内 存 使 用 效率 更 高 ， 因 为 它 不 需要 解析 / 解 包 步骤 即 可 在 数据 访问 之 前 
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执行 辅助 表示 。 没 有 汇集 (Marshaling) 和 人 解读 (Unmarshaling)〉 处 理 步 又， 因 
此 使 用 的 代码 更 少 。 
2. 解释 器 
以 下 是 解释 器 的 知识 机 点。 
口 它 是 针对 移动 设备 优化 的 解释 器 。 
口 “和 它 有 助 于 保持 移动 应 用 程序 的 精简 和 速度 。 
口 ” 它 使 用 静态 图 排序 和 目 定 义 〈 动 态 程度 较 低 ) 的 内 存 分 配 占 来 确保 最 小 的 负载 、 
初始 化 和 执行 延迟 。 
口 ”解释 器 具有 静态 内 存 计 划 和 静态 执行 计划 。 
3. 运算 /内 核 
这 是 一 组 核心 运算 符 ， 包 括 量化 运算 符 和 浮 点 运算 符 ， 其 中 许多 已 经 针对 移动 平台 
进行 了 调整 ， 这 些 运 算 符 可 用 于 创建 和 运行 自 定 义 模 型 。 开 发 人 员 还 可 以 编写 目 定 义 运 
算 符 ， 并 在 模型 中 使 用 它们 。 
4. 硬件 加 速 接口 
TensorFlow Lite 具有 与 人 硬件 加 速 器 的 接口 ， 在 Android 中 ， 它 是 通过 Android Neural 
Network API 进行 的 ， 而 在 10S 中 ， 则 是 通过 CoreML 进行 的 。 
以 下 是 保证 可 与 TensorFlow Lite 一 起 使 用 的 预测 试 模型 。 
口 “Inception V3: 一 种 流行 的 模型 ， 用 于 检测 图 像 中 存在 的 主要 对 象 。 
DD ”MobileNets: 可 用 于 分 类 、 检 测 和 细 分 的 计算 机 视觉 模型 。 与 Inception V3 相 比 ， 
MobileNet 模型 较 小 ， 但 准确 性 较 低 。 
口 设备 上 (On-Device) 智能 回复 : 一 种 设备 上 模型 ， 通 过 建议 上 下 文 相关 消息 ， 
为 传 入 的 文本 消息 提供 一 键 式 回 复 。 


4.2 移动 机 器 学 习 应 用 程序 的 体系 结构 


在 了 解 了 TensorFlow Lite 的 组 件 之 后 ， 我 们 将 研究 移动 应 用 程序 如 何 与 TensorFlow 
组 件 协作 ， 以 提供 移动 机 器 学 习 解 决 方案 。 

移动 应 用 程序 应 利用 TensorFlow Lite 模型 文件 执行 对 未 来 数据 的 推理 。TensorFlow 
Lite 模型 文件 可 以 与 移动 应 用 程序 打包 在 一 起 并 一 起 部 普 ， 也 可 以 与 移动 应 用 程序 部 羞 
包 分 开 存放 。 图 4-2 描述 了 两 种 可 能 的 部 署 方案 。 
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Mobile 
Mobile Application Application 


Cr 


Mobile Device MIobile Device 


原 文 译 文 
Mobile Application 移动 应 用 程序 
TensorFlow Lite Model File TensorFlow Lite 模型 文件 
Mobile Device 移动 设备 


每 个 部 蜀 方 案 都 有 其 优 缺 点 。 在 第 一 种 情况 下 ， 两 者 厢 合 在 一 起 ， 模 型 文件 具有 更 
高 的 安全 性 ， 并 且 可 以 得 到 安全 保护 ， 这 是 一 种 更 直接 的 方法 。 但 是 ， 由 于 模型 文件 本 
吴 具有 一 定 的 大 小 ， 因 此 这 将 导致 应 用 程序 包 的 大 小 增加 。 在 第 二 种 情况 下 ， 两 者 分 开 
保存 ， 可 以 轻松 地 单独 更 新 模型 文件 ， 而 无 顷 执 行 应 用 程序 升级 。 因 此 ， 在 进行 模型 升 
级 时 ， 可 以 避免 有 关 应 用 程序 升级 、 部 署 到 应 用 程序 商店 等 的 所 有 活动 。 由 于 这 种 分 离 ， 
应 用 程序 包 的 大 小 也 可 以 最 小 化 。 但 是 ， 由 于 模型 文件 是 独立 的 ， 因 此 应 格外 小 心地 处 
理 它 ， 不 要 让 它 受 到 安全 威胁 的 影响 。 

在 了 解 了 TensorFlow Lite 模型 文件 和 移动 应 用 程序 的 概念 之 后 ， 现 在 不 妨 来 讨论 一 
下 整个 应 用 场景 。 移 动 应 用 程序 与 TensorFlow Lite 模型 文件 打包 在 一 起 。 使 用 Android 
SDK 编写 的 移动 应 用 程序 与 TensorFlow Lite 模型 文件 之 则 的 交互 是 通过 TensorFlow Lite 
解释 器 进行 的 ， 该 解释 器 是 Android NDK 层 的 一 部 分 。 通 过 使 用 从 移动 应 用 程序 公开 给 
SDK 层 的 接口 调用 C 图 数 ， 以 便 通 过 使 用 与 移动 应 用 程序 一 起 部 闭 的 已 经 训练 过 的 
TensorFlow Lite 模型 进行 预测 或 推 新 。 图 4-3 提供 了 典型 的 机 器 学 习 程 序 所 涉及 的 
Android 生态 系统 的 SDK 和 NDK 的 各 个 层 的 清晰 视图 ,开发 人 员 也 可 以 通过 Android NN 
层 在 GPU 或 任何 专用 处 理 嚣 上 触发 执行 。 
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Mobile Application 
Android SDK Layer 
TensorFlow Lite Model File 


Machine Learning Library 
Android NN API 


[| 本 本 本 四 i i i SS 本 SN | | ss i i i i i i i i i i i i i ms ms 
Android NDK Layer 


Android Neural Network Runtime 


Hardware Acceleration Layer 


Android NN HAL 


vendorA NN VendorB NN VendorC NN 
DSP Driver GPU Driver Driver 


sp i ”Processor 


图 4-3 

原 文 译 文 
Mobile Application 移动 应 用 程序 
TensorFlow Lite Model File TensorFlow Lite 模型 文件 
Android SDK Layer Android SDK 层 
Machine Learnineg Librs 机 器 学 习 库 
Android NN API Android 神经 网 络 API 
Androld NDE Layer Android NDK 层 
Android Neural Network Runtime Android 神经 网 络 运行 时 间 
Hardware Acceleration Layer 硬件 加 速 器 层 
Android NN HAL Android 神经 网 络 硬件 抽象 库 (HAL) 
Vendor A NN DSP Driver 供应 商 A 的 神经 网 络 DSP 驱动 程序 
Vendor B NN GPU Driver 供应 商 B 的 神经 网 络 GPU 驱动 程序 
Vendor C NN Driver 供应 商 C 的 神经 网 络 驱 动 程序 
DSP 数字 信号 处 理 (DSP) 
GPU 图 形 处 理 器 
Processor 处 理 骨 


在 使 用 TensorFlow 编写 第 一 个 程序 之 前 ， 需 要 学 习 一 些 基 础 概念 ， 这 些 概念 将 有 助 
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于 理解 TensorFlow Lite 模型 的 工作 方式 。 我 们 不 会 深入 太 具 体 的 内 容 ， 而 是 仪 做 概念 性 
的 高 层次 概述 ， 以 便 读 者 能 高 屋 建 令 ， 更 好 地 从 整体 上 把 握 和 理解 。 

MobileNet 和 Inception V3 是 基于 卷 积 神经 网 络 (Convolutional Neural Networks， 
CNN) 的 内 置 模型 。 

在 最 基本 的 层面 上 ，CNN 可 以 被 视 为 一 种 使 用 同一 神经 元 的 许多 相同 副本 的 神经 网 
络 。 这 样 一 来 ， 该 网 络 就 可 以 拥有 大 量 的 神经 元 ， 并 可 以 表达 较 大 的 计算 模型 ， 同 时 叉 
将 需要 学 习 的 实际 参数 (描述 神经 元 行为 的 值 〉 保 持 在 较 低 水 平 。 

要 理解 这 个 概念 ， 可 以 使 用 拼图 游戏 及 其 解 谜 方式 来 打 比 方 。 例 如 ， 图 4-4 丈 是 一 个 


图 4-4 


如 时 必须 从 给 定 的 拼图 块 中 组 溢出 这 个 拼图 ， 则 只 需 考虑 一 下 如 何 开始 解决 它 。 你 
可 以 将 共有 不 同 颜 色 的 所 有 拼图 块 分 组 在 一 起 ， 然 后 使 用 相同 的 闫 色 比 对 图 和 案 并 组 沪 它 
们 ， 这 与 卷 积 网 络 训 练 图 像 分 类 和 识别 的 方式 相同 。 因 此 ， 每 个 神经 元 都 会 记 住 一 小 部 
分 。 但 是 ， 父 神经 元 了 解 如 何 将 其 范围 内 的 事物 组 法 起 来 以 符合 整体 拼图 效果 。 

在 Inception V3 和 MobileNet 模型 中 ， 两 者 都 基于 CNN 概念 。 该 模型 已 经 过 训练 ， 
并 且 表 现 很 稳定 。 使 用 图 像 集 所 需要 做 的 就 是 用 图 像 重 新 训练 模型 。 所 以 , 现在 已 经 有 
了 足够 的 概念 和 理论 ， 接 下 来 将 继续 使 用 TensorFlow Lite for Android 编写 第 一 个 示例 

第 9 章 “ 移 动 设备 上 的 神经 网 络 ” 中 将 使 用 TensorFlow for mobile 开发 移动 设备 上 的 
分 类 应 用 程序 。 
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4.3 使 用 TensorFlow 模型 编写 移动 应 用 程序 


我 们 要 做 什么 ? 


在 本 小 节 中 ， 将 在 TensorFlow 中 构建 一 个 小 型 (a + 5) 模型 ， 将 其 部 署 到 Android 
移动 应 用 程序 中 ， 然 后 从 Android 移动 设备 运行 它 。 


你 需要 了 解 什么 ? 


要 继续 本 节 ， 需 要 有 效 安装 Python、TensorFlow 依赖 项 和 Android Studio， 以 及 一 些 
Python 和 Java Android 知识 ， 可 以 在 以 下 网 址 找到 有 关 如 何 安装 TensorFlow 的 说 明 。 


https://www.tensorflow.org/install/ 


如 果 需 要 了 解 Windows 的 详细 安装 过 程 , 请 参考 本 书 第 11 章 “ 移 动 应 用 程序 上 机 器 
学 习 的 未 来 ”中 的 屏 才 截图 提供 的 安装 过 程 。 

我 们 已 经 前 述 了 有 关 TensorFlow 的 详细 信息 。 人 简单 地 说 ,TensorFlow 就 是 将 用 Python 
编写 的 TensorFlow 程序 保存 到 一 个 小 文件 中 ， 该 文件 可 以 由 C++ 本 机 库 读 取 ， 我 们 将 在 
Android App 中 安 疫 该 文件 并 执行 它 ， 以 便 从 移动 设备 进行 推理 。 在 这 种 情况 下 ，Java 原 
生 接 口 (Java Native Interface，JNI) 将 充当 Java 和 C++ 之 闭 的 桥梁 。 

要 了 解 有 关 TensorFlow Lite 背后 开发 思路 的 更 多 信息 ， 请 访问 以 下 地 址 。 


https://www.tensorflow.org/mobile/tflite/ 


4.3.1 编写 第 一 个 程序 


为 了 编写 TensorFlow 移动 应 用 程序 ， 需 要 遵循 执行 以 下 步 又 。 
(1) 创建 TF (TensorFlow) 模型 。 
(2) 保存 模型 。 
(3) 谎 结 图 。 
(4) 优化 模型 。 
(5) 编写 并 执行 Android 应 用 程序 。 
接 下 来 将 详细 介绍 每 个 步 又 。 
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1. 创建 和 保存 TF 模型 

首先 ， 可 以 创建 一 个 简单 的 模型 ， 并 将 其 计算 图 保存 为 序列 化 的 GraphDef 文件 。 在 
训练 模型 之 后 ， 将 其 变量 的 值 保存 到 检查 点 〈Checkpoint) 文件 中 。 必 须 将 这 两 个 文件 转 
换 为 优化 的 独立 文件 ， 这 就 是 需要 在 Android 应 用 程序 中 使 用 的 所 有 文件 。 

在 本 示例 中 ， 将 创建 一 个 非常 简单 的 TensorFlow 图 ， 该 图 实现 了 一 个 小 用 例 ， 该 用 
例 将 计算 (a+5) =c。 在 这 里 ， 将 输入 另存 为 a 和 8， 输出 另存 为 c。 

为 了 实现 此 示例 程序 ， 将 使 用 Python。 因 此 ， 作 为 先决 条 件 ， 需 要 在 计算 机 中 安装 
Python， 并 使 用 pip 在 计算 机 上 安装 TensorFlow 库 。 


例 提示 : 

请 检查 本 书 的 软件 安装 /附录 部 分 , 以 获取 有 关 如 何 安 装 Python 的 说 明 -pip 是 Python 
随 附 的 Python 软件 包 管 理 器 。 

安装 Python 并 正确 设置 路 径 之 后 ， 即 可 从 命令 提示 符 处 运行 pip 命令 。 要 安装 
TensorFlow， 请 运行 以 下 命令 。 

Pip install tensorflow 


该 示例 似乎 太 简 单 了 ， 可 能 不 包含 与 机 器 学 习 有 关 的 任何 内 容 ， 但 是 该 示例 应 该 是 
理解 TensorFlow 及 其 工作 原理 的 一 个 很 好 的 起 点 。 
import tensorflow as tf 


a = tf.placeholder (tf.int32, name="'a') # 输入 
b = tf.placeholder (tf.int32， name='b') # 输入 


times = ti Variable(name— times yy divpe—ti. int32, 1nitial valwe=zl 

c= tf.pow(tf.addl(a,: bi times, name="c") 

saver = tf.train.SsSaverl) 

init op = tf.global wariables initializer(}) with tf.Session(} as sess: 


Sess. un(init op) tf.train.write oqraph(lsess.oaraph defsy .ys 

‘tfdroid.pbtxt") 

sess.run(tf.assiaqn (name="times", value=2, ref=times)) t# 保存 图 

# 保存 检查 点 文件 ， 该 文件 将 存储 上 述 赋值 

saver.save (sess, "'./tfdroid.ckpt") 

在 上 面 的 程序 中 ， 将 创建 两 个 名 为 a 和 4 的 占 位 符 ， 它 们 可 以 保存 整数 值 。 现 在 ， 
可 以 将 占 位 符 想 象 为 决策 树 的 树 中 的 节点 。 在 下 一 行 中 ， 将 创建 一 个 名 为 times 的 变量 。 
创建 它 的 目的 是 用 来 存储 输入 需要 相 乘 的 次 数 。 在 这 种 情况 下 ， 其 值 应 该 为 2， 因 为 这 就 
是 (a+5b) 输入 要 相 乘 的 次 数 。 

在 下 一 行 中 ， 将 对 a 和 2 节点 都 应 用 加 法 运算 。 对 于 这 个 总 和 ， 将 执行 宕 运算 ， 并 
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将 结果 保存 在 名 为 ec 的 新 节操 中 。 要 运行 该 代码 , 请 先 将 其 保存 在 扩展 名 为 .py 的 文件 中 。 
然后 使 用 Python 命令 执行 程序 ， 如 下 所 示 。 


python (filename) 


运行 上 面 的 代码 将 产生 两 个 文件 。 首先, 它 将 TF 计算 图 保存 在 一 个 名 为 tfdroid pbtxt 
的 GraphDef 文本 文件 中 。 接 下 来 ， 它 将 执行 一 个 简单 的 赋值 (一 般 来 说 是 通过 实际 学 习 
完成 ) ， 并 将 模型 变量 的 检查 点 保存 在 tfdroid.ckpt 中 。 

2. 冻结 图 

在 有 了 这 些 文件 之 后 , 即 需要 通过 将 检查 点 文件 中 的 变量 转换 为 包含 变量 值 的 Const 
Ops 来 冻结 图 形 ， 并 将 它们 与 GraphDef 组 合 到 独立 文件 中 。 使 用 此 文件 可 以 更 轻松 地 在 
移动 应 用 程序 内 部 加 载 模型 。 为 实现 这 一 目标 ，TensorFlow 在 tensorflow.python.tools 中 
提供 了 Frozen graph 。 

import SYS import tensorflow as tf from tensorflow.pvthon.tools 

import freeze Graph from tensorflow.python.tools 


jmport optimize for inference 1ib MODEL NAME = "tfdroid’ 


# 诛 结 图 


input Graph path = MODEL NAME+" .pbtxt"' checkpoint path = 

‘f/f"+MODEL NAME+'" .ckpt" input saver def path = "™ input binary = False 
output node names = "c" restore op name = "save/restore all" 

filename Tensor Tame save/Const:0 Outpaut frozen graph name — 
‘frozen “+MODEL NAME+" -Pb output optimized graph name = 
‘optimized "+MODEL NAME+" .pb' clear devices = True 

freeze graph.freeze graph (input graph path, input saver de path, 


jinput binaryr checkpoint path, output node names, restore op name, 


WR Pr ) 


filename tensor name, output frozen graph name, clear devices, 


3. 优化 模型 文件 

拥有 旋 结 图 之 后 ， 可 以 通过 删除 图 的 仅 在 训练 期 间 需 要 的 部 分 来 进一步 优化 文件 ， 
以 仅 用 于 推理 目的 。 根 据 冻结 图 的 说 明文 档 ， 这 包括 以 下 内 容 。 

口 删除 仅 用 于 训练 的 操作 ， 例 如 保存 检查 点 。 

DD 去 除 图 中 从 未 达到 的 部 分 。 

D 删除 调试 操作 ， 例 如 CheckNumerics。 

口 “将 批量 归 一 化 运算 纳入 预先 计算 的 权重 中 。 

口 将 弟 用 运算 融合 到 统一 版 本 中 。 

为 实现 这 一 目标 , TensorFlow 在 tensorflow.python tools 中 提供 了 optimize for inference 
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lib， 有 具体 如 下 所 示 。 
# 为 推理 进行 优化 
input graph def = tIf.GraphDef 1() with 
tf.gfile.opent(output frozen graph name, "rr"} as f: data = f.readl) 
input Graph def.ParseFromSsString (datal) 
output graph def = optimize or inference lib.optimize for inferencel 
input graph def, |[ aa "bv], 
# 输入 节点 的 数组 ["c"] 
才 输出 节点 tf.int32. as datatype enum 的 数组 


# 保存 优化 的 图 形 

f = tf.gfile.FastGFile (output optimized graph name, “ |) 

f .write(loutput graph def .SerializeToString(}) 

tf.train.write graph (output graph def, './', output optimized graph name) 

请 注 间 上述 代码 中 的 输入 和 输出 节点 。 我 们 的 图 只 有 一 个 输入 市 点 (命名 为 I) 和 一 
个 输出 节点 (命名 为 0) 。 这 些 名 称 与 在 定义 张 量 (Tensor) 时 使 用 的 名 称 相对 应 。 如 果 
使 用 的 是 其 他 图 形 ， 则 应 根据 图 形 进 行 调整 。 

现在 ， 我 们 有 了 一 个 名 为 optimized tfdroid.pb 的 二 进 制 文件 ， 这 意味 看 已 准备 好 构 
建 Android 应 用 程序 。 如 果 在 创建 optimized tfdroid.pb 时 遇 到 异常 ， 则 可 以 使 用 tfdroid. 
somewhat， 它 是 模型 的 未 优化 版 本 ， 这 是 相当 大 的 。 


4.3.2 创建 Android 应 用 程序 


我 们 需要 获取 适用 于 Android 的 TensorFlow 库 ， 创 建 一 个 Android 应 用 ， 对 其 进行 
配置 以 使 用 这 些 库 ， 然 后 在 该 应 用 内 调用 TensorFlow 模型 。 

尽管 用 户 可 以 从 头 开始 编 译 TensorFlow 库 ， 但 是 使 用 预 构建 的 库 更 容易 。 

现在 ， 使 用 Android Studio 创建 一 个 活动 为 空 的 Android 项 目 。 

在 创建 项 目 之 后 ， 可 以 将 TF 库 添 加 到 项 目的 libs 文件 夹 中 。 开 发 人 员 可 以 从 以 下 
GitHub 存储 库 中 获取 这 些 库 。 

https://github.com/PacktPublishing/Machine-Learning-for-Mobile/tree/master/tensorflow 
%020simple/TensorflowSample/app/libs 

现在 ， 项 目的 libs/ 文 件 夹 应 如 下 所 示 。 


libs 
| arme4—v8a 


| | libtiensorflow inference.so 
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| armeabi-via 
| | Jibtensorflow inference.so 
| libandroid tensorflow inference Java.]Jar 
| x86 
| | libtensorflow inference.so 
| x86 64 

| 


| libtensorfilow infierence.so 


现在 需要 通过 将 以 下 代码 行 放 在 app/build.gradle 的 Android 块 中 ， 让 构建 系统 知道 
这 些 库 的 位 置 。 


SOUTrTCeSets 1 main { nilLibs.srcDirs = [libs"| 1 1} 


1. 复制 TF 模型 


为 该 应 用 创建 一 个 Android 资源 (Asset) 文件 来 ， 然 后 将 刚刚 创建 的 optimized_ 
tfdroid.pb 或 tfdroid.pb 文件 放 入 其 中 (app/src/main/assets/) 。 


2. 创建 活动 
单 击 项 目 并 创建 一 个 名 为 MainActivity 的 空 活动 。 在 该 活动 的 布局 中 ， 烙 贴 以 下 XML。 


<2xml Verslon= 1.0” encoding="utf-—8" ?> 

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" 
xmlns:tools="http://schemas.android.com/tools"™ 
android:id="@+id/activity main"™ 

android:layout width="match Parent - 

android:1layout height="match parent™" 
android:paddingBottom="@dimen/activity vertical margin™ 
android:paddingLeft="@dimen/activity horizontal margin™ 
android:paddingRight=—"@dimen/activity horizontal margin" 


android:paddingTop="Q@dimen/activity vertical margin"™ 
tools:context="com.example.vavinash.tensorflowsample.MainActivity"> 


<EditText 

android:id="@+id/editNuml™ 
android:layout width="100dp" 

android: ayout height="wrap content™ 
android:1layout alignParentTop="true" 
android:layout marginEnd="13dp" 
android: layout marginTop="1293dp" 
android:layout toStartof="@+id/button"™" 
android:ems="]10" 


androld:hint="a™ 
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android:inputType="textPersonName™" 


android:textAlignment="center™” /> 


<EditText 

android:id="@+id/editNum2" 

android: layout width="1]O00dp" 
android:layout heiqght="wrap content" 
android:layout alignBaseline="@+id/editNuml™ 
android:layout alignBottom="@+id/editNuml™" 
android:layout toEndof="@+id/button" 
androld:ems= 1 0- 

android:hint="b" 
android:inputType="textPersonName™ 
android:textAlignment="center™ /> 


<Button 

android:text="Run™" 

android: layout width="wrap Content 
android:1lavyout height="wrap content™ 
android:iqd="@+id/button™ 
android:layout below="@+id/editNum2" 
android:1layout centerHorizontal="true™ 
android:layout marginTop="50dp™" /> 


<TextView 

android: layout width="wrap content™ 
android: layout heiqght="wrap content" 
android:text="Output" 
android:id="@+id/txtViewResult" 
android:layout marginTop="Bodp" 
android:textAlignment="center™ 
android:layout aliqgnTop="@+id/button"™ 
android:layout centerHorizontal="true™ /> 
</RelativeLayout> 


在 mainactivity.java 文件 中 ， 粘 贴 以 下 代码 。 
package com.example.vavinash.tensorflowsample; 
import android.os.Bundle; 


import android.widget.EditText; 
import android.widget. TextView; 


import android.widgqget.Buttons; 


jmport android.support .vi.app.AppCompatActivity; 


3. 
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import android.vVview.Views 
import org.tensorflow.contrib.android.TensorFlowlnferencelInterface;s 
public 
class MainActivity extends AppCompatActivity 1 
// 改变 在 Python Tensorflow 中 生成 的 自己 的 模型 的 文件 名 
private static final string MODEL FILE = 
"file:///android asset/tfdroid.pb"; 


// 接 下 来 ， 将 通过 该 接口 使 用 已 生成 的 模型 进行 推理 。 它 在 内 部 使 用 C++ 库 和 JNI 
private TensorFlowInfierencelnterftace infterencelInterfacers 
ET | 
System.loadLibrary(l"tensorflow inference"™); 
} 
QOverride 
protected void onCreate (Bundle savedIinstanceSsState) ({ 
super.onCreate (savedlinstancestate)}); 
setContentView(R.1layout.activity main); 
ijnferencelInterface = new TensorFlowlinferencelnterface (}); 
// 实例 化 并 设置 模型 文件 作为 输入 
inferencelInteriace.ijnitializeTensorFlow (getAssets(})}, MODEL FILE); 
final Button button = (Button)} findViewBylId(R.id.button}; 
button.setonClickListener(new View.OnClickListener(}) f{ 
PuBIic void onClick(View w} I 
final EditText editNuml = (EditText) 
findViewById(R.1d.editNuml); 
final EditText editNum2? = (EditText) 
findViewBylId(R.1d.editNum2); 
float numl = 
Float .parseFloat (editNuml .getText () .tostring(}); 
float num2 = 
Float .parseFloat (editNum2 .getText () .tostring(}); 
Tm ts 
inti[| a { {inty numl} }; 
int[|] b = {((Iint)y num2} |}; 
// 设置 模型 中 变量 a 和 PP 的 输入 
inferencelInterface.filliNodeInt("a",l,a); 
inferencelInterface.fillNodeInt("b",1,b); 
// 执行 推理 并 获得 变量 c 中 的 输出 
inferencelInterface.runinference(new String|[l| {cl}}s 
// 读 取 已 接收 到 的 输出 
nt ces 104s 
inferenceInterface.readNodeInt({("c", c); 


// 投射 给 用 户 
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final TextView textViewR = (TextView) 
findViewBylId(R.id.txtViewResult); 
textViewR.setText (Integer.tostring(c[01)); 


}); 


在 上 面 的 程序 中 ， 可 以 使 用 以 下 代码 段 加 载 TensorFlow 二 进 制 文件 。 
System. loadLibrary( tensorflow inference"); 


在 创建 绑 定 (Bundle) 的 方法 中 ， 具 有 main 多 辑 。 在 此 可 以 通过 提供 TensorFlow 模 
型 的 .pb 文件 来 创建 TensorFlow 推理 对 象 ， 这 个 .pb 文件 其 实 已 经 生成 ， 详 见 本 章 前 面 的 
“创建 和 保存 TF 模型 ”部 分 。 
现在 可 以 在 Run (运行 ) 按钮 上 注册 一 个 点 击 事件 。 在 这 种 情况 下 ， 将 值 提 供给 
TensorFlow 中 的 a 和 b 节点 并 运行 推理 ， 然 后 在 c 节点 中 获取 值 并 将 其 显示 给 用 户 。 
如 图 4-5 所 示 就 是 运行 该 应 用 程序 的 结果 。 


yl Ble dd BE 12:22 


TensorFlow (a+b)2 


图 4-5 
图 4-5 显示 了 应 用 程序 的 打开 屏幕 。 在 提供 的 文本 框 中 ， 需 要 提供 a 和 b 值 。 单 击 
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RUN 按钮 后 ， 即 可 在 输出 区 域 中 看 到 结果 。 
的 提示: 
开发 人 员 可 以 从 以 下 GitHub 存储 库 中 获取 上 述 应 用 程序 的 代码 。 


https://github.conmy PacktPublishing/Machine-Learnine-for-Mobile/tree/master/tensorflow®%o 
20sumple 


4.4 小 二 


本 章 详 细 介 绍 了 Google 公司 为 移动 设备 开发 的 机 器 学 习 工 具 TensorFlow for Mobile 
和 TensorFlow Lite， 并 探讨 了 人 允许 使 用 TensorFlow 进行 机 器 学 习 的 移动 应 用 程序 的 体系 
结构 。 然 后 ， 讨 论 了 TensorFlow Lite 及 其 组 件 的 架构 和 详细 信息 ， 甚 至 演示 了 一 个 使 用 
TensorFlow for mobile 的 Android 移动 应 用 程序 的 简单 用 例 。 

第 5 章 将 详细 阐述 在 10S 中 使 用 Core ML 的 回归 算法 。 


第 5 章 在 iOS 中 使 用 Core ML 进行 回归 


本 章 将 详细 曾 述 回归 算法 和 Core ML 基础 知识 ， 并 介绍 如 何 利 用 回归 算法 创建 机 器 
学 习 程序 ， 并 使 用 10S 中 的 Core ML 为 一 组 与 住房 相关 的 数据 预测 其 房屋 价格 。 

正如 本 书 第 1 章 “ 面 同 移动 设备 的 机 器 学 习 应 用 程序 ”中 已 经 看 到 的 那样 ， 任 何 机 
恬 学 习 程序 都 有 4 个 阶段 。 我 们 需要 理解 在 这 4 个 阶段 中 涵盖 的 内 容 ， 以 及 将 用 于 解决 
底层 机 器 学 习 问 题 的 工具 。 

问题 定义 : 给 定 某 个 区 域 的 住房 信息 ， 我 们 希望 预测 该 区 域 房屋 价值 的 中 位 数 。 

本 章 将 讨论 以 下 主题 。 

D 理解 什么 是 回归 以 及 如 何 将 其 应 用 于 解决 机 器 学 习 问 题 。 

口 使 用 样本 数据 集 和 Excel 理解 回归 。 

口 了 解 Core ML 的 基础 知识 。 

口 在 Core ML 中 使 用 回归 解决 问题 。 

> ”技术 要 求 。 

如 何 使 用 scikit-leam 创建 模型 文件 。 
测试 模型 。 
了 解 如 何 将 scikit-learn 模型 导入 Core ML 项 目 。 
编写 10S 移动 应 用 程序 ， 并 在 其 中 使 用 scikit-learn 模型 进行 房价 预测 。 


有 


SS1 回归 简介 


回归 分 析 (Regression Analysis) 是 用 于 数据 统计 分 析 的 基本 方法 。 这 是 一 种 有 助 于 
友 找 变量 之 则 关系 的 统计 方法 ， 它 主要 用 于 理解 输入 和 输出 数值 变量 之 则 的 关系 。 我 们 
自 先 应 确定 因 变 量 ( 它 将 根据 日 变量 的 值 而 发 生变 化 )。 例 如 ， 房 屋 的 值 〈 因 变量 ) 将 
根据 房屋 的 面积 大 小 〈 目 变量 ) 而 变化 。 回 归 分 析 对 于 预测 非常 有 用 。 

在 一 个 简单 的 回归 问题 (单个 x 和 单个 y) 中 ， 该 模型 的 形式 如 下 : 

y=A1Bx 

在 更 高 的 维度 中 ， 当 有 多 于 一 个 输入 (x) 时 ， 这 条 线 被 称 为 平面 (Plane) 或 超 平面 

(Hyperplane) 。 
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在 示例 中 ， 可 以 根据 可 能 会 影响 该 特定 区 域 中 数据 价格 的 各 种 参数 来 预测 房屋 的 
价格 。 
以 下 是 解决 回归 问题 时 要 考虑 的 一 些 重 要 点 。 
口 ”该 预测 将 是 一 个 数值 。 
口 输入 变量 可 以 是 实 值 或 离散 值 。 
口 ”如 果 存 在 多 个 输入 变量 , 则 称 为 多 元 回归 问题 (Multivariate Regression Problem ) 。 
口 、 当 输入 变量 按时 间 排 序 时 ， 此 类 回归 问题 称 为 时 间 序列 预测 问题 (Time Series 
Forecasting Problem) 。 
口 回归 不 应 与 分 类 相 混 淆 。 分 类 是 预测 离散 类 列 标签 的 任务 ， 而 回归 则 是 预测 连 
续 数 量 的 任务 。 
能 够 学 习 回 归 预 测 模 型 的 算法 称 为 回归 算法 ( Regresslon Algorithm) 。 
下 面 将 尝试 使 用 带 有 特定 数据 集 的 详细 示例 来 理解 线性 回归 ， 还 将 使 用 相同 的 数据 
集 来 处 理 iOS Core ML 示例 。 
1. 数据 集 
我 们 将 使 用 Boston (波士顿 〉 数 据 集 来 解决 回归 问题 。 该 数据 集 包含 类 国人 口 普 合 局 
收集 的 有 关 马 萨 诸 塞 州 波士顿 地 区 住房 的 信息 。 它 是 从 StatLib 档案 库 中 获得 的 ,并 且 已 在 
整个 文献 中 广泛 用 于 基准 算法 。 该 数据 集 很 小 ， 只 有 506 个 案例 ， 其 下 载 网 址 如 下 上 所 示 。 


http://lib.stat.cmu.edu/datasets/boston 


2. 数据 集 命名 
该 数据 集 的 名 称 很 简单 ， 就 是 Boston。 它 有 两 个 任务 : 一 是 预测 一 氧化 氮 (Nitrous 
Oxide) 的 食量 ; 二 是 预测 房屋 价格 的 中 位 数 。 

有 关 该 数据 集 的 其 他 详细 信息 如 下 。 

口 ”Origin: 波士顿 房屋 数据 的 原点 (Origin) 是 Natural。 

D Usage: 此 数据 集 可 用 于 评估 。 

口 ”Number of cases: 该 数据 集 总 共 包 含 506 个 案例 (Case) 。 

口 Order: 案例 的 顺序 (Order) 是 未 知 的 。 

口 Variables: 在 数据 集 的 每 个 案例 中 都 有 以 下 14 个 属性 。 
> CRIM: 按 城 镇 划分 的 人 均 犯 罪 率 (Crime Rate) 。 
> ZN: 占 25000 平方 器 尺 以 上 土地 的 一 部 分 住宅 用 地 (Residential Land Zone) 。 
> INDUS: 每 个 城镇 非 零 售 业务 类 亩 的 比例 。 
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CHAS: Charles River 虚拟 变量 〈 如 果 劳 边 有 河流 ， 则 为 1; 否则 为 0) 。 
NOX: 一 氧化 氨 浓 度 白 万 分 之 几 ) 。 
RM: 每 栋 住宅 的 平均 房间 (Room) 数 。 
AGE: 在 1940 年 之 前 建造 的 自 有 住房 的 比例 。 
DIS: 到 $ 个 波士顿 就 业 中 心 的 加 权 距 离 (Weighted Distance) 。 
RAD: 周围 高 速 公路 的 可 达 性 指数 。 
TAX: 每 10000 美元 的 全 值 不 动产 税率 (Tax Rate) 。 
PTRATIO: 城镇 的 师 生 比例 (Pupil-Teacher Ratio) 。 
B: 1000(Bk -0.63)》， 其 中 ，BEk 是 城镇 中 黑人 的 比例 。 
LSTAT: 人 口中 处 于 较 低地 位 (Lower Status) 的 百分比 。 
> MEDV: 自 有 住房 的 中 位 数值 (Median Value) 为 1000 美元 。 

我 们 将 使 用 Excel 对 数据 集 尝 试 简单 的 线性 回归 以 及 多 元 回归 ，, 并 了 解 详细 信息 。 为 
了 进行 分 析 , 将 仅 考 虑 来 自 Boston 数据 集 的 506 个 样本 数据 空间 中 的 20 个 数据 元 素 ， 如 
图 5-1 所 示 。 
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TAX 昌 LSTAT 


RAD PT 

0.00632| 18| 2.309999943| 0| 0.537999988| 6.574999809| 65.19999695| 4.090000153| i1| 296| 15.3| 396.899994| 4.980000019 

0.027310001| 0| 7.070000172 0.469000012| 6.421000004| 78.90000153| 4.967100143| 2| 242| 17.799999| 396.899994| 9.140000343 
0.02729| -0| 7.070000172 0.469000012| 7.184999943| 61.09999847| 4.967100143| 2| 242| 17799999| 392.829987| 4.03000021 


CRIM ZN INDUS CHAS |NOX% RM AGE Dts 


0.069049999| 0| 2.180000067| 0| 0.458000004| 7.146999836| 54.20000076| 6.062200069| 
0.029850001| 0| 2.180000067| 。 0| 0.458000004| 6.429999828| 58.70000076| 6.062200069| 3| 222| 18700001| 394.119995| 5.210000038 
0.088289998| 125| 7.869999886| 0o| 0.523999989| 6.012000084| 6659999847| 5.560500145| 5| 311| 152| 395.600006| 12.43000031 
0.144549996| “12.5| 7.669999886| 0| 0.523999989| 6.171999531| 96.09999847| 5.950500011| 5| 311| 15.2| 596.899994| 19.14999962 
0.711739994| 125| 7 -669959886| 0| 0.575999969| 5.651000043| 100| 5.082099915| 5| 311| 15.2| 386.630005| 23.33000031 
0.170039997| 12.5| 7.869999886| 0| 0.523999989| 6.004000187| 85.50000153| 6.592100143| 5| 311| 15.2| 386709992| 17.10000038 


0093780003| 125| 7.859999885| of 0523999989| 5888999939| 39| 5450900078| 5| su 
9637960017| 0| 3-140000343| 845| 4461900734| 4 \ 


0 

0| 05379 
0.627390027| 0| 8.140000343| 0| 0.537999988| 5.834000111| 56.5| 4.498600006 
1053930044| 0| 8.140000343| 。 0| 0.537999988| 5.934999943| 29.29999924| 4.49860000 
0784200013| 。 0| 8.140000343| 。 0| 0.537999988| 5.989999771| 81.69999695| 4.25790023 
0.802709997| 0| 8.140000343| 0| 0.537999988| 5.455999851| 36.59999847| 3.796499968| 4 


0.725799978 0| 8.140000343 0| 0.537999988| 5.727000237 69.5| 3.796499968 


| 


现在 ， 可 以 使 用 Excel 中 提供 的 数据 分 析 选 项 ， 并 尝试 仅 考虑 因 变 量 DIS 来 预测 MV。 
在 数据 分 析 中 ， 选 择 Regression， 然 后 选择 MV 作为 Y 值 ， 选 择 DIS 作为 多 值 。 这 是 一 
个 简单 的 回归 ， 其 中 有 一 个 因 变 量 来 预测 输出 。 如 图 5-2 所 示 就 是 Excel 产生 的 输出 。 
以 DIS 为 因 变 量 的 MV 预测 线性 回归 方程 为 了 = 1.11X+ 17.17 (这 是 DIS 的 DIS 系 
数 + 截 距 值 〉: 
R2 = 0.0250 
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SUMMARY QUTPUT 


Regression Stoatistics 
Multiple R 0.15842429 
R Square 0.02509826 
Adjusted R Square -0.0322489 
Standard Error 6.2924382 


Observations 19 


ANOVA 
SS MS F ‘ianificance F 
Regression 17.32884216 17.32884 0.4376547 0.5171238 


Residual 673.1112344 39.59478 
Total 690.4400765 


Coeftticients Stondard Error t Stot P-value Lower 95% Upper 95% ower 95.0% pper 95.0% 


Intercept 17.1776841 9.067764021 1.894368 0.0753179 -1.9536257 36.30899 -1.953626 36.308994 
DIS 1.11806988 1.690063931 0.661555 0.5171238 -2.4476533 4.6837193 -2.447653 4.6837931 


图 5-2 
现在 ， 可 以 看 到 用 来 分 析 的 20 个 数据 样本 集 的 MV 的 预测 输出 ， 如 图 5-3 所 示 。 


RESIDUAL QUTPUT PROBABILITY QWTPUT 


Obsernvation Predicted MV Residuals Percentile MV 


以 DIS 作为 因 变 量 预测 的 MYV 输出 图 表 如 图 5-4 所 示 。 
现在 ， 己 经 了 解 了 单个 因 变 量 条 件 下 线性 回归 的 工作 方式 。 同 样 ， 通 过 将 多 个 变 
包括 为 马 , 已, 五 , 成 ， 可 以 使 用 任意 数量 的 因 变 量 。 


= le es Bp | 
nn 


21.75053006 
22.73124914 
22.73124914 
23.95564738 
23.95564738 
23.95504738 
23.39471181 
23.83075891 

23.9778968 

24.5481127 

24.27137384 
24.13956961 
dd dl 
22.44099802 
22.16640034 
22.20743325 
22.20743325 
21.93831409 

4717436 


2.249409935 
-1.131248764 
11.96875162 
9.444354146 
12.24435338 
.744353376 
-0.494712192 
3.269241466 
-7.477896803 
-3.648113076 
-9.273738401 
-5.239569991 
-1.572170518 
-2.040998402 
-3.966399583 
-2.307433632 
0.892567128 
-自生 38314092 
可 局 


图 5-3 


2.631578947 
7.894736842 
13.15789474 
18.42105263 
23.68421053 
dB8.9471360842 
34.21052632 
39.47368421 
44.73684211 

50 
55.26315789 
60.52631579 
65.78941368 
71.05263158 
76.31578947 
81.57894737 
86.84210526 
92.10526316 


7 3684210 


15 

16.5 

17.5 
18.20000076 
18.89999962 
18.89999962 
19.89999962 
20.20000076 
20.39999962 
21.60000038 
21.70000076 
22.89999962 
3.10000038 
24 
27.10000038 
28.70000076 
33.40000153 
34.70000076 


D [网 网 网 | 上 了 重 


- 匡 . 


里 
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DIS Line Fit Plot 


国 Predicted MY 


图 5-4 


在 数据 集中 ， 总 共有 14 个 变量 ， 并 且 可 以 使 MV 依赖 于 所 有 其 余 13 个 变量 ， 并 以 
与 先前 为 单个 变量 指定 的 相同 方式 创建 回归 方程 。 

在 理解 了 如 何 使 用 Excel 对 Boston 数据 集 执 行 回 归 之 后 ， 即 可 使 用 Core ML 执行 相 
同 的 操作 。 在 继续 进行 Core ML 实现 之 前 , 必须 先 了 解 Core ML 是 什么 , 并 和 擎 握 有 关 Core 
ML 的 基础 知识 。 


5.2 了 解 Core ML 的 基础 


Core ML 是 使 10S 移动 应 用 程序 能 够 在 移动 设备 上 以 本 地 方式 运行 的 机 器 学 习 模 型 。 
握 机 器 学 习 或 深度 学 习 的 广泛 知识 即 可 使 用 Core ML 编写 机 器 学 习 移 动 应 用 程序 。 他 们 
只 需要 知道 如 何 像 其 他 资源 一 样 将 机 器 学 习 模 型 包含 到 移动 应 用 程序 中 ， 并 在 移动 应 用 
程序 中 调用 它 。 数 据 科 学 家 或 机 器 学 习 专 家 可 以 使 用 他 们 熟悉 的 任何 技术 (如 Keras、 
scikit-learn 等 ) 创建 机 器 学 习 模 型 。Core ML 提供 了 一 些 工 具 ， 可 将 使 用 其 他 工具 (如 
TensorFlow、scikit-learn 等 ) 创建 的 机 器 学 习 数 据 模型 转换 为 Core ML 要 求 的 格式 。 

Core ML 模型 的 转换 将 在 应 用 程序 开发 阶段 发 生 ， 而 不 会 在 使 用 应 用 程序 时 实时 发 
生 。 该 转换 是 使 用 coremltools Python 库 完 成 的 。 当 应 用 程序 反 序列 化 (Deserialize) Core 
ML 模型 时 ， 它 将 成 为 有 具有 prediction 方法 的 对 象 。Core ML 并 不 是 真正 用 于 训练 ， 而 只 
是 用 于 运行 预 训 练 的 模型 。 

Core ML 支持 广泛 的 深度 学 习 功 能 ， 并 可 支持 30 多 个 层 。 深 上 度 学 习 中 的 层 实际 上 上 暗 
未 了 数据 转换 所 经 过 的 层 数 。 它 还 支持 标准 模型 : 树 集成 、SVM 和 线性 模型 。 它 建立 在 
诸如 Metal 之 类 的 许 层 技术 之 上 。 Core ML 可 无 颖 利用 CPU 和 GPU 的 优势 来 提供 最 大 化 
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的 性 能 和 效率 。 它 具有 根据 当前 任务 的 强度 在 CPU 和 GPU 之 间 切 换 的 能 力 , 由 于 Core ML 
允许 机 器 学 习 在 设备 上 以 本 地 方式 运行 ， 因 此 数据 无 须 离 开设 备 进行 分 析 。 

借助 于 Core ML， 开 发 人 员 可 以 将 已 经 训练 过 的 机 器 学 习 模 型 集成 到 自己 的 应 用 程 
序 中 ， 如 图 5-5 所 示 。 


Sci-kit ML| | Caffe ML 
Model Model 


Working of Core ML In I0S app 


图 5-5 

原 文 译 文 
Keras ML Model Keras 机 器 学 习 模 型 
Sci-kit ML Model Sci-kit 机 器 学 习 模 型 
Caffe ML Model Caffe 机 器 学 习 模 型 
Core MLTools Core 机 器 学 习 工 具 
Core ML Model Core 机 器 学 习 模 型 
Core ML Model Interpretation In 1DS Mobile App 在 iOS 移动 应 用 程序 中 的 Core ML 模型 解释 
Working of Core ML in iOS App 在 iOS 移动 应 用 程序 中 Core ML 的 作用 


经 过 训练 的 模型 是 将 机 器 学 习 算法 应 用 于 一 组 训练 数据 的 结果 。 该 模型 可 基于 新 的 
输入 数据 进行 预测 。 例 如 ， 在 给 定 寻 室 和 浴室 数量 的 情况 下 ， 接 受过 某 个 地 区 历史 房屋 
价格 训练 的 模型 应 该 可 以 预测 房屋 价格 。 

Core ML 针对 设备 上 的 性 能 进行 了 优化 ， 从 而 最 大 限度 地 减少 了 内 存 占 用 和 功 耗 。 
严格 在 设备 上 运行 可 确保 用 户 数据 的 私密 性 ， 并 确保 当 网 络 连接 不 可 用 时 ， 应 用 程序 仍 
可 正常 运行 并 啊 应 。 

Core ML 是 特定 领域 的 框架 和 功能 的 基础 。 例 如 ，Core ML 为 Vision 提供 了 图 像 处 
理 支 持 , 为 Foundation 提供 了 目 然 语言 处 理 (Natural Language Processing, NLP) 支持 ( 例 
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如 NSLinguisticTagger 类 ) , 为 GameplayKit 提供 了 对 学 习 决 策 树 (Learned Decision Tree) 
进行 分 析 支 持 。Core ML 本 身 是 基于 底层 基本 类 型 而 建立 的 ， 包 插 Accelerate、BNNS 以 
及 Metal Performance Shaders 等 ， 如 图 5-6 所 示 。 


Natural language processing GameplayKit 


Accelerate and BNNS Metal Performance Shaders 


4| 5-6 
局 文 译 文 
Your apT 你 的 移动 应 用 程序 
Natural laneuage processine 目 然 语 言 处 理 
Accelerate and BNNS Accelerate 和 BNNS 


打算 使 用 Core ML 编写 机 器 学 习 程 序 的 iD0S 开发 人 员 需 要 了 解 以 下 基本 步骤 。 

(1) 在 10S 之 外 创建 模型 。 这 可 以 使 用 scikit-leam、TensorFlow 或 开发 人 员 愿 意 的 
任何 其 他 方式 来 完成 。 为 了 创建 机 器 学 习 模 型 文件 ， 他 们 需要 知道 第 1 章 已 经 曾 述 过 的 
机 器 学 习 的 4 个 关键 阶段 。 

(2) 一 旦 构建 、 测 试 并 准备 好 可 以 使 用 的 模型 之 后 , 需要 将 该 模型 转换 为 与 Core ML 
菩 容 的 格式 。 此 时 ， 可 以 使 用 Core ML 工具 ， 这 些 工 具 实 际 上 有 助 于 将 使 用 任何 工具 创 
建 的 模型 文件 转换 为 Core ML 要 求 的 格式 〈.mlmodel 文件 格式 ) 的 模型 文件 。 

(3) 创建 Core ML 特定 模型 文件 之 后 , 可 以 将 其 导入 10S 程序 , 并 且 可 以 使 用 Core 
ML 提供 的 API 与 模型 文件 进行 交互 ， 以 提取 1OS 应 用 程序 可 能 需要 的 所 需 信 息 。 基 本 
上 ， 这 是 将 .mlmodel 文件 导入 Xcode 项 目的 resources 文件 夹 中 。 

OO 注意 : 

Core ML 的 最 大 优点 是 使 用 非 第 简单 。 只 需 穴 穴 几 行 代码 就 可 以 帮助 集成 完整 的 ML 
模型 。Core ML 只 能 帮助 将 经 过 预 训 练 的 机 器 学 习 模 型 集成 到 应 用 程序 中 ， 但 是 它 本 身 
无 法 进行 模型 训练 。 
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5.3 在 Core ML 中 使 用 回归 解决 问题 


本 节 将 详细 前 述 创建 回归 模型 ， 然 后 在 10S 移动 应 用 程序 中 使 用 回归 模型 的 细节 。 
我 们 将 详细 介绍 创建 10S 回归 机 需 学 习 应 用 程序 以 解决 定义 的 问题 所 涉及 的 各 个 步骤。 


5.3.1 技术 要 求 


需要 在 开发 人 员 机 器 上 安装 以 下 软件 。 

UD Python。 

口 Mac 环境 中 的 Xcode。 

可 以 从 GitHub 存储 库 中 下 载 本 章 的 练习 程序 ， 其 网 址 如 下 。 


https://github.com/PacktPublishing/Machine-Learning-for-Mobile/tree/master/housing%2 
Oprice%o20prediction 

在 下 面 的 程序 中 ， 将 使 用 pandas、numpy 和 scikit-learn 创建 模型 ， 因 此 ， 请 在 命令 
提示 符 / 终 端 中 使 用 以 下 命令 从 pip 软件 包 管理 器 中 安装 这 些 软件 包 。 

Pip install scikit—learn 

Pip install numpy 

pip install pandas 

为 了 将 创建 的 模型 转换 为 Core ML 格式 , 需要 使 用 Apple 提供 的 Core ML scikit-learn 
Python 转换 器 。 


Pip install -U coremltools 


5.3.2 ”如 何 使 用 scikit-learn 创建 模型 文件 


本 节 将 说 明 如 何 使 用 scikit-learn 创建 线性 回归 模型 文件 ， 并 将 其 转换 为 与 Core ML 
菩 容 的 .mlmodel 文件 , 我 们 将 使 用 Boston 数据 集 进行 模型 创建 。 以 下 是 一 个 简单 的 Python 
程序 ， 该 程序 使 用 scikit-learn 和 Boston 数据 集 创建 了 一 个 简单 的 线性 回归 模型 。 然 后 ， 
Core ML 工具 将 其 转换 为 与 Core ML 兼容 的 模型 文件 。 现 在 ， 来 详细 分 析 一 下 该 程序 。 

首先 ， 需 要 导入 该 程序 所 需 的 软件 包 。 

# 导入 必需 的 软件 包 


import numpy as np 
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上 面 的 行 可 导入 NumPy 包 。NumpPy 是 使 用 Python 进行 科学 计算 的 基本 软件 包 。 它 
包含 一 个 功能 强大 的 N 维 数组 对 象 。 此 numpy 数组 将 在 该 程序 中 用 于 存储 数据 集 ， 该 数 
据 集 具 有 14 个 维度 。 

import pandas as pd 

from pandas.core jmport series 

上 一 行 可 导入 pandas 软件 包 ， 这 是 一 个 开放 源 代码 、BSD 许可 的 库 ， 为 Python 编程 
语言 提供 了 局 性 能 、 吻 于 使 用 的 数据 结构 和 数据 分 析 工 具 。 使 用 pandas 可 以 创建 一 个 数 
据 框 ， 你 可 以 将 pandas 数据 帧 假定 为 Excel 电子 表格 ， 其 中 每 个 工作 表 都 有 标题 和 数据 。 


import coremltools 
from coremltools.converters.sklearn import ljinear regression 


上 面 的 代码 行 可 以 使 用 Core ML Tools 转换 包 导 入 在 此 程序 中 构建 的 线性 回归 模型 。 
Core ML Tools 是 一 个 Python 软件 包 ， 用 于 创建 、 检 查 和 测试 .mlmodel 格式 的 模型 。 特 
别 是 ， 它 可 用 于 执行 以 下 操作 。 

口 通过 流行 的 机 器 学 习 工 具 (包括 Keras、Caffe、scikit-learn、libsvm 和 XGBoost) 

将 现 有 模型 转换 为 .mlmodel 格式 。 

口 通过 简单 的 API 以 .mlmodel 格式 表示 模型 。 

吕 使 用 .mlmodel 进行 预测 (在 用 于 测试 目的 的 特定 平台 上 )。 

from sklearn import datasets, linear model 


from sklearn.metrics import mean squared error, Ir2 score 

上 面 的 代码 行 可 以 导入 sklearn 软件 包 。 数 据 集 用 于 导入 skleam 包 中 的 内 置 数 据 集 。 
在 此 程序 中 ， 将 使 用 5.2 节 中 介绍 的 波士顿 住房 价格 数据 集 。linear model 包 用 于 访问 线 
性 回归 函数 ， 而 metrics 包 则 用 于 计算 该 模 型 的 测试 指标 ， 例 如 均 方 误 关 (Mean Squared 
Error) 。 

boston = datasets.load boston() 

上 面 的 代码 行 可 以 从 sklearn 数据 集 包 中 加 载 Boston 数据 集 。 

bos = pd.DataFrame (boston.data) 

现在 ， 需 要 从 整个 数据 集中 提取 数据 。 

bos.columns = boston.feature names 

获取 列 名 称 ， 即 该 数据 的 标题 。 


bos [price'|] = boston.target 
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现在 可 以 来 定义 要 预测 的 目标 列 ， 定 义 为 目标 的 列 是 将 要 预测 的 列 。 
x = bos-drop('price'，axis=1) 

定义 目标 列 之 后 ， 将 从 目标 列 中 删除 数据 ， 使 其 变 为 x。 

Vv = bos.price 

由 于 将 价格 定义 为 目标 列 ， 因 此 y 是 数据 集 数 据 中 的 price 列 。 


xX trainX test,Y trainY Test = 
sklearn.model selection.train test split (x,v,test size=0.3, random state=o) 


然后 ， 按 照 70/30 规则 将 数据 分 为 训练 和 测试 数据 。 

lm = sklearn.linear model.LinearRegressiont) 
获得 训练 和 测试 数据 后 ， 即 可 初始 化 线性 回归 对 象 。 
lm.fit(X train,Y train) 

使 用 已 初始 化 的 线性 回归 对 象 ， 只 需 将 训练 和 测试 数据 
YY pred = lm.predicti(X test) 

上 面 的 代码 行 可 以 预测 目标 。 


mse = Sklearn.metrics.mean squared error(Y test;Y pred) 


输入 回归 模型 中 。 


print (mse)}); 


上 面 的 代码 行将 在 拟 合 模型 和 预测 结果 中 计算 均 方 误差 。 

由 于 回归 预测 模型 可 以 预测 数量 ， 因 此 模型 必须 具有 为 这 些 预 测 报告 误 关 的 技能 。 

有 许多 方法 可 以 估算 回归 预测 模型 的 技巧 , 但 最 常见 的 方法 是 计算 均 方 根 误 雳 (Root 
Mean Squared Error, RMSE) 。 

例如 ， 如 果 回 归 预 测 模型 进行 了 两 项 预测 ， 其 中 一 项 为 1.5 预期 值 为 10) ， 另 一 
项 为 3.3〔 预 期 值 为 3.0) ， 则 其 RMSE 如 表 5-1 所 示 。 


表 5-1 计算 RMSE 值 
RMSE = sqrt(average(error’2) 
RMSE = sqrt(((1.0 - 1.9)^2 + (3.0 - 3.3)°2)/2 
RMSE = sqrt((0.2$ + 0.09)/ 2 
RMSE = sqrt(0.17 
RMSE = 0.412 
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RMSE 的 一 个 好 处 是 ， 错 误 分 数 的 单位 与 预测 值 的 单位 相同 。 
model = coremltools.converters.sklearn.convertl 
sk obj=im,jinput features=boston.feature names, 
output Teature names=" PICe |) 
在 上 面 的 代码 行 中 ， 将 拟 合 的 模型 转换 为 Core ML 格式 。 基 本 上 ， 这 就 是 创建 .mlmodel 
文件 的 代码 ， 还 指定 了 输入 和 输出 列 名 称 。 


model.save ("HousePricer.mlmodel'") 
在 上 面 的 代码 行 中 ， 将 模型 保存 到 磁盘 ， 以 便 日 后 可 以 在 10S 程序 中 使 用 它 。 
5.3.3 ”运行 和 测试 异型 


在 将 scikit-learn 创建 的 模型 转换 为 Core ML 格式 之 前 , 还 需要 进行 独立 执行 和 测试 ， 
以 发 现 方差 和 均 方 误差 。 

口 准备 的 模型 的 均 方 差 为 30.703232。 

D 方差 得 分 是 0.68。 

口 该 过 程 以 退出 代码 0 完成 。 

图 5-7 给 出 了 预测 值 (Prediction) 与 实际 值 (True Value) 之 间 的 关系 。 


True Yalue vs. Prediction 


—— Prediction 


B80 
Array Index 


图 5-7 
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原 文 译 文 
Values 值 
True Value 实际 值 
Prediction 预测 值 
Airav index 数组 指标 


5.3.4 将 模型 导入 iOS 项 目 


图 5-8 是 Xcode 项 目的 项 目 结构 ， 访 项 目 己 经 导入 了 mlmodel 文件 (HousePricer. 
mlmodel) ， 并 将 其 用 于 预测 。 


Main.storyboard 
A 


白 回 品 QQ 


于 加 sample 


HousePricer.mlmodel 
sample 

= AppDelegate.swift 

=| ViewController.swift 

茵 Main.storyboard 

中 Assets.xcassets 

| LaunchScreen.storyboard 
“| Info.plist 

Products 
A sample.app 


S-8 


ViewCcontroller.swift 文件 则 是 创建 后 的 模型 文件 使 用 的 地 方 ， 而 住房 价格 预测 将 在 
移动 应 用 程序 中 执行 。 

HousePricer.mlmodel 文件 是 使 用 scikit-learn 创建 的 模型 文件 ， 并 已 经 使 用 Core ML 
转换 器 工具 转换 为 机 器 学 习 模 型 文件 。 此 文件 包含 在 1OS Xcode 项 目的 resource 文件 夹 中 。 


5.3.5 编 与 iOS 应 用 程序 


本 节 提 供 了 使 用 .mlmodel 格式 的 模型 并 进行 房价 预测 的 Swift 代码 的 详细 信息 。 
// ViewController.swift 
import UIKRK1it 
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limport CoreML 
class ViewController: UIViewController | 
let model = HousePricerl() 


上 面 的 代码 行 用 于 初始 化 已 经 导入 项 目 中 的 模型 类 。 以 下 各 行 则 定义 了 文本 字段 的 
出 口 /变量 以 与 其 进行 交互 。 


QIBOutlet weak Var crim: UITextField! 
QIBOutlet weak Var zn: UITextField! 
QIBOutlet weak Var price: UILabel! 
QIBOutlet weak Var b: UITextField! 
@IBOU 上 Jet weak Var ptratio: UITextField! 
QIBOuUutlet weak Var medv: UITextField! 
QBIBOuUutlet weak Var lstat: UITextField! 
QIBOutlet weak Var rad: UITextField! 
QIBOU 上 Jet weak Var tax: UITextField! 
QIBOuUutlet weak var dis: UITextField! 
QIBOutlet weak Var age: UITextField! 
QIBOutlet weak Var rm: UITextField! 
QIBOutlet weak Var nox: UITextField! 
QIBOutlet weak var chas: UITextField! 
QIBOutlet weak Var indus: UITextField! 


override func didRecejveMemoryWarning() 1{ 


Super.didReceiveMemoryWarnindgl() 

// 处 置 所 有 可 以 重新 创建 的 资源 
} 
Override func viewDidLoad() { 

SUPeT .viewDidLoad () 

updated (rad}:; 
} 
QIBAction func updated( sender: Any) { 

guard let modeloutput = try? model .prediction (CRIM: 

Double (crim.textl} lI, 2N: Double (zn.text!l)}) li, INDUS: Double (indus.text!l)}!, 
CHAS: Double (chas.text!l}!, NOX: Double (nox.text!}!, RM: Double (rm.textl}!, 
AGE: Double(age.text!)!, DIS: Double{(dis.text!)!, RAD: Double (rad.text!)!, 
TAX: Double (tax.text!)})!, PTRATIO: Double (ptratio.text!}!, B: 
Double(b.text!})!, LSTAT: Doublet(lstat.text!)!} else 1 


fatalError("unexpected runtime error™) 


price.text = "S$"™ + String(format: "$$.2f",modeloutput.price); 
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上 面 的 函数 作为 onchange 侦 听 器 添加 到 所 有 之 前 的 文本 字段 。 在 此 ， 将 使 用 先前 创 
建 的 模型 对 象 ， 并 按 文 本 字段 中 的 给 定 值 预测 价格 。 


5.3.6 ”运行 iOS 应 用 程序 


创建 的 Xcode 项 目 是 在 模拟 器 中 执行 的 ， 如 图 5-9 所 示 束 是 一 个 运行 示例 。 
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图 5-9 
5.4 深入 阅读 


要 更 深入 地 了 解 Core ML 及 其 提供 的 服务 ， 可 以 访问 其 官方 网 站 ， 地 址 如 下 。 


https://developer.apple.com/documentation/coreml 
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5.5 小 人 


本 章 重 点 曾 述 了 以 下 内 容 。 

口 ”线性 回归 : 理解 该 算法 ， 并 使 用 Excel 工作 表 为 Boston 住房 数据 集 实 现 该 算法 。 

口 Core ML: 详细 介绍 了 Core ML 及 其 提供 的 各 种 功能 。 

DD 使 用 Core ML 实现 线性 回归 的 示例 应 用 程序 : 我 们 获取 了 Boston 住房 数据 集 ， 
并 使 用 Core ML 为 10S 移动 应 用 程序 实现 了 线性 回归 模型 ， 最 后 在 移动 应 用 程 
序 中 得 看 了 结果 。 
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本 章 将 讨论 ML Kit, 它 是 Firebase 在 Google LO 2018 上 发 布 的 ,该 SDK 已 经 将 Google 
的 移动 机 器 学 习 产 品 打 包 在 一 个 包 中 。 

移动 应 用 程序 开 有 人员 可 能 希望 在 其 移动 应 用 程序 中 实现 需要 进行 机 奖 学 习 的 功 
人 能。 但是， 他 们 可 能 不 了 解 机 句 学 习 的 概念 以 及 对 于 哪些 场景 使 用 哪 种 算法 ， 如 何 构 建 
模型 ， 以 及 训练 模型 等 。 

ML Kit 试图 通过 识别 所 有 在 移动 设备 坏 境 下 进行 机 器 学 习 的 潜在 用 例 ， 并 提供 现成 
的 API 来 解决 此 问题 。 如 末 将 正确 的 输入 传递 给 这 些 API， 则 将 接收 到 所 需 的 输出 ， 而 
无 须 进 一 步 编码 。 

此 外 ，ML Kit 使 输入 既 可 以 传递 到 离线 工作 的 设备 上 的 API， 也 可 以 传递 到 云 中 托 
管 的 在 线 API。 

最 重要 的 是 ，ML Kit 还 为 具有 机 器 学 习 专 长 的 开发 人 员 提 供 了 选择 ， 使 他 们 可 以 使 
用 TensorFlow/TensorFlow Lite 构建 自己 的 模型 ， 然 后 将 其 导入 应 用 程序 并 使 用 ML Kit 
API 进行 调用 。 

ML Kit 还 提供 了 更 多 有 用 的 功能 ， 例 如 机 器 学 习 模 型 升级 和 监视 功能 (如 果 由 
Firebase 托管 的 话 ) 。 

本 章 将 讨论 以 下 主题 。 

口 ML Kit 及 其 功能 。 

口 使 用 设备 上 的 ML Kit API 创建 图 像 标 签 样本 。 

口 使 用 ML Kit 云 API 创建 相同 的 样本 。 

DQ ”创建 人 脸 检 测 应 用 程序 。 


6.1 理解 ML Kit 
ML Kit 泣 产 了 Google 现 有 关于 移动 设备 机 器 学 习 方 面 的 产品 。 它 将 Google Cloud 


Vision API、TensorFlow Lite 和 Android Neural Networks API (Android 神经 网 络 API) 拥 
绑 在 一 个 SDKE 中 ， 如 图 6-1 所 示 。 
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TensorFlow 
Google for Mobile 
Vision /Tensor 


Flow Lite 


Neural Network 
API 


图 6-1 


ML Kit 使 开 及 人 员 能 够 以 非 营 简单 的 方式 在 Android 和 1OS 系统 的 移动 应 用 程序 中 
利用 机 器 学 习 ， 推 理 则 可 以 通过 调用 设备 上 或 云 上 的 API 来 进行 。 

设备 上 API 的 优点 是 它们 可 以 完全 离线 工作 ， 并 且 由 于 不 需要 将 数据 发 送 到 云 而 更 
加 安全 。 相 比 之 下 ， 云 山 API 则 必须 连接 到 网 络 ， 并 且 一 定 需要 将 数据 及 送 到 设备 外 ， 
但 它 可 以 提高 正确 率 。 

ML Kit 提供 的 API 涵 兰 了 移动 应 用 程序 开 肥 人员 可 能 需要 的 以 下 机 器 学 习 方案 。 

D 图 像 标 签 。 
口 文本 识别 。 
口 地 标 检测 。 
口 人 上 脸 检测 。 
D ”条形码 扫描 。 

所 有 这 些 API 都 是 使 用 复 染 的 机 器 学 习 算 法 实现 的 ， 但 是 ， 这 些 细节 都 已 经 打包 好 
了 ， 移 动 开 发 人 员 无 须 详细 了 解 用 于 实现 这 些 API 的 算法 。 所 有 他 们 要 做 的 就 是 将 所 需 
的 数据 传递 到 SDK， 然 后 返回 正确 的 输出 ， 上 基体 取决 于 使 用 的 是 ML Kit 的 哪 一 部 分 。 

如 果 提 供 的 API 没有 涵盖 特定 的 用 例 ， 则 可 以 构建 自己 的 TensorFlow Lite 模型 。ML 
Kit 有 助 于 托 党 该 模 型 ， 并 将 其 提供 给 移动 应 用 程序 。 

由 于 Firebase ML Kit 同时 提供 了 设备 上 (On-Device) 和 云 上 (On-Cloud) 的 功能 ， 
因此 开发 人 员 可 以 根据 手头 的 具体 问题 提出 创新 的 解决 方案 ， 以 充分 利用 这 两 者 。 他 们 
需要 知道 的 证， 设备 上 的 API 快速 且 可 以 离线 工作 ， 而 云端 的 API 则 利用 Google Cloud 
平台 来 提供 准确 度 更 局 的 预测 。 
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图 6-2 描述 了 在 决定 使 用 设备 上 API 还 是 云 上 API 时 要 考虑 的 问题 。 
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YES ] 


Need to On-device API| 
Work 


offline? 


| 


YES | 
| 
原 文 译 文 
More accuracy required? 是 否 必 须 更 准确 ? 
YES 是 
Network Connectivity 1ssues present 是 否 存在 网 络 连接 问题 ? 
NO 否 
Cloud API 使 用 云 上 API 
Need to work offline? 是 否 需 要 离线 工作 ? 
On-device API 使 用 设备 API 


ML Kit 提供 的 API 并 不 是 全 部 都 同时 支持 设备 上 和 云 上 模式 。 图 6-3 显示 了 每 个 API 
所 支持 的 模式 。 

现在 来 看 一 下 每 个 API 的 细节 。 

1. 文本 识别 

ML Kit 的 文本 识别 API 可 以 使 用 移动 设备 的 摄像 头 帮 助 识 别 任何 基于 拉丁 语 的 文 


本 ， 它 们 在 设备 上 和 云 上 均 可 用 。 


“二 
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Text recognition 


Face detection 


Barcode scanning 


Image labeling 


Landmark recognition 


Custom model| inference 


6-3 


原 文 译文 译文 
Feature 功能 图 形 标签 
On-Device 设备 上 Landmark recosnition 地 标识 别 
On-Cloud 二 自 定义 模型 推理 
Text Tecosnltlon 文本 识别 古 
Face detection 人 脸 检 测 合 
Barcode scannine 条 码 扫 摘 ee 
设备 上 的 API 允许 识别 黎 朴 文本 或 图 像 中 存在 的 文本 。 云 上 API 的 功能 相同 ， 但 也 
允许 识别 大 量 文 本 ， 例 如 文档 中 的 文本 。 与 设备 API 相 比 ， 云 上 API 还 支持 识别 更 多 的 
语言 。 
这 些 API 的 可 能 用 例 是 识别 图 像 中 的 文本 ， 扫 描 可 能 磐 入 图 像 中 的 字符 或 自动 进行 
烦琐 的 数据 输入 。 
2. 人 脸 检测 


ML Kit 的 人 脸 检 测 API 允许 检测 图 像 或 视频 中 的 脸 部 。 一 旦 检测 到 人 脸 ， 就 可 以 进 
行 以 下 改进 。 

口 特征 目标 检测 : 确定 脸 部 内 的 特定 兴趣 点 《例如 眼睛 ) 。 

口 分 类 : 根据 某 些 特征 《例如 睁 眼 或 财 眼 ) 对 脸 部 进行 分 类 。 

口 人 脸 跟 躁 : 在 视频 的 不 同 帧 中 识别 并 跟踪 同一 人 脸 〈 在 不 同位 置 ) 。 

人 脸 检 测 只 能 在 设备 上 实时 进行 。 对 于 移动 设备 应 用 程序 可 能 有 很 多 用 例 ， 其 中 ， 
相机 将 捕获 图 像 并 根据 目标 或 分 类 对 其 进行 操作 ， 以 生成 和 目 担 、 头 像 等 。 


由 
| Fr 
口 
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3. 条 码 扫 描 

ML Kit 的 条 码 扫描 API 可 以 帮助 读 取 使 用 大 多 数 标 准 条 形 码 格式 编码 的 数据 。 它 支 
持 线 性 格式 , 例如 Codabar、Code 39、Code 93、Code 128、 EAN-8、 EAN-13,、 ITF、 UPC-A 
或 UPC-E， 以 及 2-D 格式 ， 例 如 Aztec、Data Matrix、PDF417 或 QR 码 。 

API 可 以 识别 和 扫描 和 条形码， 而 不 管 其 方向 如 何 。 任 何 存 储 为 条 形 码 的 结构 化 数据 
都 可 以 轻松 识别 。 

4. 图 像 标签 

ML Kit 的 图 像 标 签 API 可 以 帮助 识别 图 像 中 的 实体 。 不 需要 为 此 实体 识别 提供 任何 
其 他 元 数据 信息 。 图 像 标签 使 读者 可 以 深入 了 解 图 像 的 内 容 。 ML Kit API 提供 了 图 像 中 
的 实体 ， 以 及 每 个 实体 的 置信 和 度 〈Confidence) 得 分 。 

图 像 标 签 在 设备 上 和 云 上 均 可 用 ， 不 同 之 处 在 于 支持 的 标签 数量 。 设 备 上 的 API 文 
持 大 约 400 个 标签 ， 而 基于 云 的 API 则 最 多 支持 10000 个 标签 。 

5. 地 标识 别 

ML Kit 的 地 标识 别 API 可 以 帮助 识别 图 像 中 的 知名 地 标 。 

当 给 定 图 像 作为 输入 时 ， 此 API 将 提供 在 图 像 中 找到 的 地 标 以 及 地 理 坐 标 和 区 域 信 
， 还 可 以 为 地 标 返 回 知识 图 实体 人 D。 该 了 D 是 一 个 字符 串 ， 用 于 唯一 标识 已 识别 的 地 标 。 
6. 自 定 义 模型 推理 

如 果 现 成 可 用 的 API 不 足以 满足 你 的 用 例 , 则 ML Kit 还 提供 了 创建 目 定 义 模型 并 通 
过 ML Kit 进行 部 署 的 选项 。 


Em 


6.2 使 用 Firebase 设备 上 的 API 创建 文本 识别 应 用 


要 开始 使 用 ML Kit， 需 要 登录 Google 账户 ， 激 活 Firebase 账户 ， 并 创建 Firebase 项 
目 。 具 体 步 又 如 下 。 
(1) 前 往 https://firebase.google.com/。 
(2) 登录 Google 账户 (如 果 疝 未 登录 ) 。 
(3) 单 击 菜 单 栏 中 的 Go to console 〈 转 到 控制 台 ) 。 
(4) 单 击 Add project〔 添 加 项 目 〉 以 创建 一 个 项 目 ， 并 打开 它 。 
现在 打开 Android Studio， 并 创建 一 个 活动 为 空 的 项 目 。 记 下 创建 项 目 时 给 定 的 应 用 
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程序 包 名 称 ， 如 com.packt.mlkit.textrecognizationondevice。 
接 下 来 , 转 到 Firebase 控制 台 。 在 Project overview (项 目 概述 ) 菜单 中 , 单 击 Add app 
〈《 诬 加 应 用 程序 ) 并 提供 所 需 的 信息 ， 它 将 提供 一 个 JSON 文件 进行 下 载 。 在 Android 
Studio 的 项 目 视 图 中 添加 到 项 目的 app 文件 夹 ， 如 图 6-4 所 示 。 


VT Pa mlkit DN\Users\vavinash\AndroidStudioProjects\rr 


和 gradle 
bp Idea 
app 
build 
libs 
[tL 
.gitignore 
app.iml 
(sr build.gradle 
1 google-services,json 
proguard-rules.pro 
gradle 
.gtignore 
(ss build.gradle 
ll gradle.properties 
gradlew 


qradlew,.bat 


ll local.properties 


图 6-4 


接 下 来 ， 将 以 下 代码 行 添加 到 清单 (manifest〉 文 件 中 。 


<Uses-feature android:name="android.hardware.camera2.full™ /< 
<uUuSes-permission android:name="android.permission.CAMERA™. /< 
<Uses-permission android:name="android.permission.INTERNET™" /< 
<uses-permission android:name="androijd.permission.WRITE EXTERNAL STORAGE™ 


/< 


<uses-permission android:name="android.permission.READ EXTERNAL STORAGE™ /< 


我 们 需要 这 些 权限 才能 使 应 用 程序 正常 运行 。 下 一 行 告诉 Firebase 依赖 项 从 Google 
服务 器 下 载 文本 识别 (OCR ) 模型 ， 并 将 其 保留 在 设备 中 以 进行 推理 。 


<meta—data 
android:name=" "com.goo0gle.firebase .ml .vision.DEPENDENCIES™ 


android:value="ocr™ /< 
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整个 manifest 文件 如 下 所 示 。 


<2xXml version="1 .0 encoding=—="utf 8"2< 
<manifest xmlns:android="http://schemas.android.com/apk/res/android" 
Package=" "Com.packt .mlkit.testrecognizationondevice"™< 


<Uses-feature android:name="android.hardware.camera2.full™" /< 
<uSes-permission android:name="android.permission.CAMERA™. /< 
<uSes-permission android:name="android.permission.INTERNET™" /< 
<USeSs—-pPermission 
android:name="android.permission.WRITE EXTERNAL STORAGE™ /< 
<USeES—-pPermission 
android:name="android.permission.READ EXTERNAL STORAGE™ /< 
<application 
android:allowBackup="true™ 
android:icon="@mipmap/ic launcher" 
android:label="@string/app name"™" 
android:roundIicon="@mipmap/ic launcher round" 
android: supportsRtl="true"™ 
android:theme="Q@style/AppTheme"™"< 


<meta—data 
android:name="com.google.firebase.ml .vision.DEPENDENCIES™ 
android:wvalue="ocr™ /< 


<activity android:name=" .MainActivity"< 
< Inent = Eiler< 


<action android:name="android.intent.action.MAIN™ /< 


<cCategory android:name="android.intent .category .LAUNCHER" 


/< 
</intent-filter< 
</activity< 
</application< 
</manifest< 


现在 ， 需 要 将 Firebase 依 顿 项 添加 到 项 目 中 ， 为 此 ， 需 要 将 以 下 行 添加 到 项 目 build. 
gradle 文件 中 。 
buildscript | 
repositories I 
google () 
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center() 

} 

dependencies 1 
classpath ‘com.android.tools.build:gradle:3.1.4" 
// 此 版 本 将 取决 于 用 户 的 环境 


classpath ‘com.google.gms:google—services:4.0.1" 


// 请 注意 ;不 要 将 应 用 程序 依赖 项 放 在 这 里 
// 它们 属于 单独 的 模块 build.gradle 文件 


} 
然后 打开 模块 应 用 程序 build.gradle 文件 ， 并 添加 以 下 依赖 项 。 


implementation com.google.firebase:firebase—ml—wvision:1i.0.0" 


implementation "Com.google.firebase:firebase core:16.0.3" 
再 将 以 下 行 添加 到 该 文件 的 确 部 。 

apply Plugin: ‘Com.google.ogms .go00gle—services' 

在 布局 文件 中 ， 编 写 以 下 .xml 代码 以 定义 元 素 。 


<23xml wersion="1] .0" encoding=" utf 8"?< 
<RelativeLayout 
xmlns:android="http://schemas.android.com/apk/res/android" 
xmlns:tools="http://schemas.android.com/tools™ 
android:lavout width="match Parent - 
android: lavyout height—"match Parent 
tools:context=" (main activity) "< <! -- 完 全 合格 的 主要 活动 的 类 名 称 将 在 此 处 出 
再 -一 < 


<TextureView 
android:id="@+id/preview" 
android: layout width="match parent™" 
android:1lavyout height="wrap content”" 


android:layout above="@id/btn takepic" 


android:layout alignParentTop="true"/< 


<Button 
android:id="@+id/pbtn takepic" 
android: layout width="wrap content™ 


android: lavyout height="wrap content™ 
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android: layout alignParentBottom"true”™ 
android: lavout centerHorizontal="true™ 
android: layout marginBottom=—="1l6dp" 
android: ayout marginTop="16dp" 
android:text="Start Labeling™ 

/< 


</RelativeLayout< 


现在 ， 编 写 应 用 程序 的 主要 活动 类 。 
从 Packt Github 存储 库 中 下 载 该 应 用 程序 的 代码 ， 其 网 址 如 下 。 


https://github.com/PacktPublishing/Machine-Learnine-for-Mobile/tree/master/mlkit 
假设 已 经 熟悉 了 Android， 因 此 ， 接 下 来 使 用 Firebase 功能 来 讨论 代码 。 


import com.google.firebase.FirebaseApp; 

impPort com.google.firebase.ml .vision.FirebaseVision; 

import com.google.firebase.ml .vision.common.FirebaseVislionlmager 
import com.google.firebase.ml .vision.text .FirebaseVisionTextRecognizer; 


impPort com.google.firebase.ml .vision.text.*s 


将 上 述 代 码 导 入 firebase 库 。 


private FirebaseVislionTextRecognizer textRecognilzer;s 


上 述 代 码 将 声明 Firebase 文本 识别 器 。 


FirebaseApp fapp = FirebaseApp.initializeApp (getBaseContext ()); 


上 述 代 码 将 初始 化 Firebase 应 用 程序 上 下 文 。 


textRecognizer = 


FirebaseVision.getInstance() .getonDeviceTextRecognizer (}); 
上 述 代码 将 获取 设备 上 的 文本 识别 器 。 


takePictureButton.setonClickListener(new View.OnClickListener() 1 
QOverride 
Public Vvoid onClick(View wv) I 


takePicture(}): 


// 在 此 函数 中 具有 用 于 解码 图 片 中 字符 的 代码 
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上 述 代 人 码 段 为 招 照 按钮 注册 了 单 击 事件 侦 听 器。 
Bitmap bmp = BitmapFactory.decodeByteArray (bytes,0,bytes.length); 


从 字 节 数组 创建 位 图 。 


FirebaseVisionlImage firebase image = FirebaseVilsionImage.fromBitmap (bmp); 


上 述 代 码 将 创建 一 个 Firebase 图 像 对 象 以 通过 识别 器 。 


LextRecognlizer.processImage (firebase lmage) 
上 述 代 人 码 可 以 将 创建 的 图 像 对 象 传递 到 识别 器 进行 处 理 。 


.addonsuccessListener(new OnSuccessListener<FirebaseVisionText<() 1 
QOverride 
Public void 

onSuccess (FirebaseVisionText result) 1 

// 在 收 到 结果 后 同 用 户 显示 

Toast .makeText (getApplicationContext () ,result.getText (), 

Toast .LENGTH LONG) .show(); 


}) 


上 述 代 码 块 将 添加 成 功 时 侦 昕 器 (OnSuccessListener)。 它 会 收 到 一 个 Firebase 视觉 
文本 对 象 ， 该 对 象 又 以 Toast 消息 的 形式 显示 给 用 户 。 


-addOnFailureListenerl 
new OnFailureListener() I 
QOverride 
public void onFailure (GNonNull Exception e) 
{ 
Toast .makeText (getApplicationcCcontext ()， "Unable to 
read 七 he text", Toast.LENGTH LONG) .show(); 
} 
1); 


上 述 代 码 块 将 添加 失败 时 侦 昕 器 (OnFailureListener) ， 它 将 接收 一 个 异 间 对象 ， 访 
对 象 又 以 Toast 消 明 的 形式 同 用 户 显 示 错 误 消 明 。 

运行 上 述 代码 时 ， 设 备 中 将 具有 如 图 6-5 所 示 的 输出 。 

请 注意 ， 在 安装 此 应 用 时 ， 有 用户 必 须 连 接 到 互联 网 ， 因 为 Firebase 需要 将 模型 下 载 
到 用 户 的 设备 上 。 
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~” IN (9) GutErng td BG 6:19 


TestRecognizationondevice 


VELAMMAL 
College of Engineering & Technology 


Madural 
START LABELING 


6.3 使 用 Firebase 云端 API 创 建文 本 识别 应 用 


在 本 节 中 将 把 设备 上 的 应 用 程序 (On-Device App) 转换 为 云 应 用 程序 (Cloud- Based 
App)。 区 别 在 于 ,设备 上 的 应 用 程序 会 下 载 模型 ， 并 将 其 存储 在 设备 上 ， 这 样 可 以 绚 短 
推理 时 间 ， 使 应 用 程序 可 以 进行 快速 预测 。 

相 比 之 下 ， 基 于 云 的 应 用 程序 会 将 图 像 上 传 到 Google 服务 器 ， 这 意味 看 将 在 云 上 进 
行 推 理 。 如 果 没 有 连接 到 互联 网 ， 那 么 它 将 无 法 正常 工作 。 

在 这 种 情况 下 ,为 什么 要 使 用 基于 云 的 模型 ? 由 于 在 设备 上 , 该 模型 的 空间 和 处 理 硬件 
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有 限 ， 而 Google 的 服务 器 是 可 扩展 的 。Google 云端 文本 识别 器 模型 还 能 够 解码 多 种 语言 。 
首先 ， 需 要 订阅 Google Cloud， 请 执行 以 下 步骤 。 
(1 ) 转 到 Firebase 项 目 控制 台 。 
(2) 在 左 侧 菜单 中 ， 将 看 到 当前 正在 使 用 Spark Plan (免费 套餐 ) 。 
(3) 单 击 Upgrade〈 升 级 ) ， 然 后 按照 说 明 升 级 到 Blaze Plan， 也 就 是 pay-as-you-go 
( 即 付 即 用 ) 。 
(4) 需要 提供 信用 卡 或 付 球 明 细 以 进行 验证 一 一 这 些 不 会 日 动 收 费 。 
(5) 订阅 后 ， 每 月 将 免费 收 到 1000 个 Cloud Vision API 请 求 。 
Ot 总 
仅 当 开发 人 员 拥 有 升级 的 Blaze Plan 而 不 是 免费 套餐 账户 时 ， 才 能 尝试 使 用 此 程序 。 
上 文 给 出 了 创建 升级 账户 的 步骤 ， 请 按照 上 述 步 又 操作 以 获取 升级 账户 ， 这 样 才 能 安 试 
给 定 的 程序 。 
默认 情况 下 ， 项 目 应 该 未 局 用 Cloud Vision， 为 此 ， 需 要 转 到 以 下 链接 。 
https://console.cloud.google.com/apis/library/vision.googleapis.com/?authuser = 0 


在 顶部 的 下 拉 这 单 中 ， 选 择 Firebase 项 目 ( 该 项目 包含 在 6.2 节 中 添加 的 Android 应 


用 程序 ) 。 
单 击 Enable〈 局 用 ) 为 应 用 程序 局 用 此 功能 ， 访 页 面 将 类 似 于 如 图 6-6 所 示 的 屏幕 


三 Geoogle Cloud Platform 2 myproject = 


点 PI Library 


Cloud Vision API 


Google 
<> Image Content Analysis 


MANAGE TRY THIS API [局 APlenabled 


Type Overview 
PlS SB aervices a 
niegrates Google Vision features, including image labesling, face logo, and landmark detection, optical character 
Last a ated recognltion [OCR and detection of explicit content, Iinto applications 

是 一 


about Google 
wie y 
Machine earminyg 
日 i 


Google's mis 5 i organize ihe world's information and make ty sally accessible and usetul. Thro a 
EE mln es bp i | i 
mmsaningful role in the daily lires of billions of pasaple. 

Seryvloe name 

vision. ocgleapls.cr 


ata Creation en... | T 才 T-Bat | hicrosolt .. - * — dmministr - 剖 3 rlleit [De Users, ya. 


图 6-6 
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现在 返回 代码 ， 并 进行 以 下 更 改 。 
可 以 在 Packt Github 存储 库 中 找到 该 应 用 程序 代码 ， 其 网 址 如 下 。 


https://github.com/PacktPublishing/Machine-Learnine-for-Mobile/tree/master/ Testrecoen! 


zationoncloud 


除 主要 活动 外 ， 所 有 其 他 文件 均 未 更 改 。 
主要 活动 的 更 改 如 下 。 


1mpPort com.google.firebase.FirebaseApp;s 

import com.google.fijrebase.ml .vision.FirebaseVision; 

import com.google.firebase.ml .vision.common.FirebaseVisionlmage; 

import com.google.firebase.ml .vision.document.FirebaseVisionDocumentText.; 
import com.google.firebase.ml .vision.document .FirebaseVisionDocumentText 


Recognlzer,; 

现在 ， 需 要 将 前 面 的 软件 包 作为 依赖 项 导入 。 

private FirebaseVisionDocumentTextRecognizer textRecognizers 
上 述 代 人 码 将 声明 文档 文本 识别 器 。 


textRecognizer = 
FirebaseVision.getIinstance(} .getCloudDocumentTextRecognizer(); 


上 述 代 人 码 实例 化 并 分 配 了 云 文 本 识别 器 。 


takePictureButton.setonClickListener(new View.OnClickListener() I 
QOverride 
public void onClick(View ww) I{ 
takePicture(); 


// 在 此 函数 中 具有 用 于 解码 图 片 中 字符 的 代码 


}) 7 
} 
上 述 代码 为 拍照 按钮 注册 了 单 击 事件 侦 听 嫩 。 
Bitmap bmp = BitmapFactory.decodeByteArray (bvtes,0,bytes.length); 
上 述 代 码 可 以 从 字 节 数组 创建 一 个 位 图 。 
FirebaseVisionImage firebase image = FirebaseVisionImage.fromBitmap (bmp); 
上 述 代 码 可 以 创建 一 个 Firebase 图 像 对 象 以 通过 识别 器 。 


LextRecognizer.processImage (firebase limage) 


。106 。 面 问 移动 设备 的 机 器 学 习 


上 述 代码 可 以 将 创建 的 图 像 对 象 传递 到 识别 器 进行 处 理 。 


.addOnSuccessListener (new OnNnSuccessListener<FirebaseVisijonDocumentText<() 1{ 
QOverride 
public void 
onSuccess (FirebaseVisionDocumentText result) i 
Toast .makeText (getApplicationContext () ,result .getText () ,Toast .LENGTH LONG) 
-Show(); 
} 
}) 


上 述 代 人 码 块 将 添加 成 功 时 侦 听 占 ， 它 将 收 到 FirebaseVision 文档 文本 对 象 ， 该 对 象 义 
以 Toast 消息 的 形式 显示 给 用 户 。 
-addonFailureListenertl 
new OnFailureListener() 1{ 
QOverride 
public void onFailure (GNonNull Exception e) 
{ 
Toast .makeText (getApplicationContext (}, Unable to 
read 七 he text", Toast.LENGTH LONG) .show(); 
} 
| 上) > 
上 述 代码 块 将 添加 失败 时 侦 听 器 , 它 将 接收 一 个 异常 对 象 , 该 对 象 义 以 Toast 消 居 的 
形式 同 用 户 显 示 错 误 消 息 。 
使 用 连接 互联 网 的 设备 运行 该 代码 后 ， 你 将 获得 与 以 前 相同 的 输出 ， 但 这 次 的 结果 
是 来 自 云端 的 。 


6.4 使 用 ML Kit 进 行人 脸 检 测 
接 下 来 , 将 答 试 理解 ML Kit 进行 人 脸 检 测 的 方式 。 人 脸 检 测 以 前 是 Mobile Vision API 
的 一 部 分 ， 现 在 已 移 至 ML Kit。 
6.4.1 人 脸 检 测 概念 
Google Developers 幢 面 将 人 脸 检 测定 义 为 在 视觉 媒体 (数字 图 像 或 视频 ) 中 目 动 定 


位 和 检测 人 脸 的 过 程 。 检 测 到 的 脸 部 在 报告 时 将 提供 位 置 (包含 相关 的 大 小 和 方向 〉 属 
性 。 检 测 到 脸 部 之 后 ， 可 以 搜索 腔 部 中 存在 的 特征 目标 ， 例 如 眼睛 和 曙 子 。 
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在 继续 使 用 ML Kit 编程 人 脸 检 测 之 前 ， 需 要 了 解 以 下 重要 术语 。 

脸 部 方 同 (Face Orientation) : 以 不 同 角度 检 测 脸 部 。 

人 脸 识 别 (Face Recognition) : 确定 两 幅 人 脸 是 否 可 以 属于 同一 个 人 。 

人 脸 追 踪 (Face Tracking) : 指 在 视频 中 检测 人 脸 。 

特征 目标 (Landmark〉: 指 人 的 脸 部 中 的 兴趣 点 。 这 对 应 于 人 脸 的 显著 特征 ， 
例如 右 眼 、 左 眼 和 鼻 根 。 

分 类 (Classification〉: 确定 是 否 存 在 脸 部 特征 ， 例 如 睁 眼 或 闭 眼 、 笑 脸 或 严肃 
表情 。 


6.4.2 使 用 ML Kit 进行 脸 部 检测 的 示例 解决 方案 


DDDUD 


国 


现在 打开 Android Studio， 并 创建 一 个 活动 为 空 的 项 目 。 记 下 创建 项 目 时 给 定 的 应 用 
程序 包 名 称 ， 例 如 com.packt.mlkit.facerecognization。 

在 这 里 将 修改 文本 识别 代码 以 预测 脸 部 ， 因 此 ， 我 们 不 会 更 改 软件 包 名 称 和 其 他 内 
容 ， 而 只 是 代码 更 改 。 项 目 结构 与 之 前 显示 的 相同 ， 如 图 6-7 所 示 。 


Android 


* ap 


rmanitests 


com.packt.mlkit,testrecognizationondevice 
com.packt.mlkit.testrecognizationondevice 
com,.packt.mlkit,testrecognizationondevice 
b = 
Fr (ss Gradle Scripts 
(ss build,gradle 


(ss build.gradle 


ll gradle-wrapper.properties 


proguard-rules.pro 
ll gradle.propertles 
(sr settings.gradle 


liocal.properties 


图 6-7 
现在 是 时 候 编 写 应 用 程序 的 主要 活动 类 了 。 首 先 ， 需 要 从 Packt GitHub 存储 库 下 载 
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应 用 程序 代码 并 在 Android Studio 中 打开 该 项 目 ， 其 网 址 如 下 。 


https://github.com/PacktPublishing/Machimne-Learning-for-Mobile/tree/master/facerecoen! 


zation 


然后 ， 将 以 下 代码 行 添加 到 Gradle 依赖 项 中 。 打 开 模 块 应 用 程序 的 build.gradle 文件 ， 
并 添加 以 下 依赖 项 。 


impPlementation ‘com.google.android.gms:play—sServices—-vision:11.4.0°" 
implementation "com.android.support.constraint:constraint—layout:1.0.2" 


现在 添加 import 语句 以 进行 人 脸 检 测 。 


import com.google.android.gms .vision.Frame; 
import com.google.android.gms .vision.face.Face; 
import com.google.android.gms .vision.face.FaceDetector; 


以 下 语句 将 声明 FaceDetector 对 象 。 


private FaceDetector detectors 


现在 创建 一 个 对 象 并 将 其 分 配给 声明 的 检测 器 (Detector) 。 


detector = new FaceDetector.Builder (getApplicationContext ()) 
-SetTrackingEnabled (false) 
.SetLandmarkType (FaceDetector.ALL LANDMARKS) 
.SetcClassificationType (FaceDetector.ALL CLASSIFICATIONS) 
build({}s 


声明 一 个 字符 串 对 象 以 将 预测 消 恩 保存 给 用 户 。 


FT 
Fr 


String scanResults = ™ 
检查 检测 器 是 否 可 运行 ， 以 及 是 否 有 一 个 从 相机 获取 的 位 图 对 象 。 
i (detector.isOperational(} && bmp != null} 1{ 


然后 创建 一 个 帆 (Frame〉 对象，FaceDetector 类 的 检测 方法 需要 这 个 Frame 对 象 来 
预测 脸 部 信息 。 


Frame frame = new Frame .Builder() .setBitmap (bmp) .build() ;SparseArray<Face> 
faces = detector.detect (frame}); 


一 旦 成 功 检测 到 ， 它 将 返回 脸 部 对 象 数组 。 以 下 代码 可 以 将 每 个 nface 对 象 具有 的 信 
息 附加 到 结果 字符 串 中 。 


for (int index = 07 index < faces.size{(); ++index) { 


Face face = faces.valueAat (index),; 
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scanResults += ”Face ™ + (index + 1) + AD : 

scanResults += “Smile probability:" + "\n™ } 

scanResults += String.valueof (face.getIssmilingProbability()) + "\n"; 
scanResults += "Left Eye Open Probability: ™ + "\n"s 

scanResults += String.valueolf (face.getlsLeftEyeOpenProbability(}} + 
wm 

scanResults += "Right Evye Open Probability: ™ + "An 

scanResults += String.valueotf (face.getIsRightEyeOpenpProbability(}} + 


NT 

) 

如 果 未 返回 任何 人 脸 ， 则 将 显示 以 下 错误 消 恩 。 
if (faces.size() == 0) 1{ 


scanResults += “Scan Failed: Found nothing to scans 
} 
如 果 人 上 脸 大 小 不 为 0， 则 表示 它 已 经 负 历 了 for 循环 ， 访 循环 将 人 脸 信息 附加 到 结果 
文本 中 。 现 在 将 增加 面孔 总 数 并 结束 结果 字符 串 。 
else 1 


scanResults += "NO of Faces Detected: ™ + MM\n™: 
scanResults += String.valueOf (faces.size(}) + 


be 
scanResults 十 一 "一 一 一 一 一 Et 
} 
如 果 检 测 费 无 法 运行 ， 则 将 显示 以 下 错误 消 奶 。 
else I 
scCcanResults += "Could not set up the detector!™; 
} 


Toast .makeText (getApplicationContext (),scanResults,Toast.LENGTH LONG). 


show(); 


6.4.3 ”运行 应 用 程序 


现在 可 以 运行 该 应 用 程序 了 。 上 有 先 必须 通过 手机 中 的 USB 调试 选项 将 手机 连接 到 人 台 
式 机 ， 并 安装 该 应 用 程序 ， 如 图 6-8 所 示 。 
在 运行 该 应 用 程序 时 ， 将 获得 如 图 6-9 所 示 的 输出 。 
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四 马上 日 个 Wr Eg gd 8:11 四 自信 


Face Detection Face Detection 


Face 1 

Smile probability: 
0.006959378 

a Dpen Probability: 


Right Eye Open Probability: 
ee i 


图 6-9 
6.5 小 结 


本 章 详 细 介 绍 了 ML Kit SDK, 它 是 Firebase 在 Google LO 2018 上 发 布 的 。 我 们 讨论 
了 ML Kit 提供 的 不 同 API， 网 如 图 像 标 和 容 、 文 本 识别 、 人 脸 检 测 、 条 公 扫 描 和 地 标识 别 
等 。 本 章 分 别 使 用 设备 上 API 和 云端 API 创建 了 一 个 文本 识别 应 用 程序 。 我 们 还 通过 在 
文本 识别 应 用 程序 中 进行 较 小 的 更 改 来 创建 人 脸 检测 应 用 程序 。 第 7 章 将 介绍 垃圾 邮件 
分 类 器 ， 并 为 10S 构建 此 类 分 类 器 的 示例 实现 。 


第 7 章 垃圾 邮件 检测 


本 章 将 话 细 介绍 目 然 语言 处 理 (Natural Language Processing，NLP) 技术 ， 并 讨论 如 
何 将 NLP 与 机 器 学 习 结 合 起 来 以 提供 问题 的 解决 方案 。 此 外 ， 本 章 还 结合 线性 文 持 同 量 
机 (Support Vector Machine，SVM) 分 类 模型 ， 提 供 了 利用 NLP 进行 垃圾 邮件 检测 的 真 
实 案 例 。 该 程序 将 使 用 Core ML for 1OS 作为 移动 应 用 程序 实现 。 

为 了 处 理 机 器 学 习 算法 中 的 文本 ， 将 研究 各 种 NLP 技术 ， 这 些 技术 将 用 于 文本 数据 
以 使 其 准备 好 用 于 学 习 算 法 。 在 准备 好 文本 之 后 , 将 看 到 如 何 使 用 线性 SVM 模型 对 其 进 


行 分 类 。 


问题 定义 : 给 定 批量 短 消 息 业 务 (Short Message Service，SMS) 消 因 数据， 这 些 消 
思 需 要 分 类 为 垃圾 邮件 或 非 垃圾 邮件 。 

口 理解 NLP。 

口 在 Core ML 中 使 用 线性 SVM 解决 问题 。 


> 


V TY TY 


技术 要 求 。 
如 何 使 用 scikit-leam 创建 模型 文件 。 
测试 模型 。 


将 scikit-leam 模型 导入 Core ML 项 目 。 
编写 一 个 10S 移动 应 用 程序 ， 在 其 中 使 用 scikit-learn 模型 ， 并 进行 垃圾 邮 
件 检测 。 


7.1 理解 NLP 


NLP 是 一 个 很 宏大 的 主题 ， 对 此 主题 进行 面面俱到 的 介绍 超出 了 本 书 的 范围 。 但 是 ， 
在 本 节 中 将 详细 曾 释 NLP， 并 尝试 理解 使 用 NLP 准备 和 处 理 文本 数据 所 需 的 关键 概念 ， 
以 使 其 准备 好 供 机 和 需 学 习 算法 进行 预测 使 用 。 


il NLP 


人 类 社会 每 天 都 会 生成 大 量 的 非 结 构 化 文本 数据 。 社 交 媒 体 如 Twitter 和 Facebook 
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之 类 的 网 站 ， 以 及 微 信 、WhatsApp 之 类 的 通信 应 用 ， 每 天 都 会 生成 大 量 这 种 非 结 构 化 数 
据 ， 更 不 用 说 博客 、 新 闻 文 章 、 产 品评 论 、 服 务 评 论 、 广 告 、 电 子 邮 件 和 短信 。 和 总 而 言 
之 ， 我 们 有 以 TB 计 的 大 量 数 据 (Huge Data) 需要 处 理 。 
但 是 ， 由 于 以 下 原因 ， 计 算 机 无 法 直接 从 这 些 大 量 数据 中 获取 任何 见解 ， 并 基于 这 
些 见 解 执行 特定 的 操作 。 
D 数据 是 非 结 构 化 的 。 
口 没有 预 处 理 就 无 法 直接 理解 数据 。 
D ”此 数据 不 能 以 未 经 处 理 的 形式 直接 输入 到 任何 机 器 学 习 算法 中 。 
为 了 使 这 些 数据 更 有 意义 并 从 中 获取 信息 ， 我 们 使 用 了 NLP。 专 注 于 人 类 语言 与 计 
算 机 之 间 相 互 作 用 的 研究 领域 称 为 自然 语言 处 理 (NLP) 。NLP 是 数据 科学 的 一 个 分 文 ， 
与 计算 语言 学 密切 相关 。 它 涉及 计算 机 科学 一 一 分 析 、 理 解 和 从 基于 人 类 目 然 语 言 的 数 
据 中 获取 信息 ， 这 些 数据 通常 是 非 结 构 化 的 ， 例 如 文本 、 语 音 等 。 
通过 NLP， 计 算 机 可 以 通过 分 析 人 类 语言 来 从 中 获得 含义 ， 并 可 以 做 很 多 有 用 的 事 
情 。 通 过 利用 NLP， 可 以 完成 许多 复杂 的 任务 ， 例 如 目 动 汇 总 大 型 文档、 翻译 、 不 同 质 
量 的 非 结构 化 数据 之 间 的 关系 提取 、 情 感 分 析 和 语音 识别 等 。 
为 了 使 计算 机 能 够 理解 和 分 析 人 类 语言 ， 需 要 以 更 加 结构 化 的 方式 分 析 句 子 并 理解 
其 核心 。 无 论 如 何 ， 需 要 了 解 以 下 3 项 核心 内 容 。 
DD 语义 信息 (Semantic Information) : 它 是 句子 中 单词 的 特定 含义 ， 需要 结合 整个 
句子 的 含义 才能 正确 理解 。 例 如 ，The kite flies， 在 这 里 ， 如 果 不 结合 上 下 文 的 
话 ， 就 不 知道 是 风筝 飞 还 是 乌 发 〈 在 英文 中 ，kite 的 舍 义 既 可 以 指 风 第， 也 可 以 
指 一 种 狐 禽 ) 。 
口 ”句法 信息 〈Syntactic Information) : 这 是 句子 中 单词 的 特定 句法 含义 。 需 要 结合 
整个 句子 的 结构 才能 正确 理解 。 例 如 ，Sreeja saw Geetha with candy。 在 这 里 ， 
如 果 不 结合 上 下 文 的 话 ， 就 无 法 确定 是 谁 拿 着 糖果 ， 是 Sreeja， 还 是 Geetha? 
口语 用 信息 (Pragmatic Information〉: 这 与 句子 的 上 下 文 (语言 或 非 语言 》 有 关 。 
这 是 在 句子 中 使 用 单词 的 特定 上 下 文 。 例 如 ，He is out， 在 棒球 运动 中 ，onut 表 
示 出 局 ， 而 在 医疗 保健 方面 ，out 表示 车 迷 。 
但 是 ， 计 算 机 无 法 像 人 类 一 样 分 机 和 识别 句子 ， 因 此 ， 需 要 有 一 种 明确 定义 的 方法 ， 
使 得 计算 机 能 够 执行 文本 处 理 。 以 下 是 该 练习 涉及 的 主要 步骤 。 

(1) 预 处 理 (Processing) 。 此 步骤 用 于 消除 句子 中 的 所 有 了 噪声 ， 保 留 句 子 上 下 文中 
唯一 的 关键 信息 以 供 下 一 步 使 用 。 例 如 ,可 以 从 句子 中 删除 诸如 is、the 或 an 之 类 的 语言 
停止 词 〈 中 文 停止 词 如 “ 啊 ”“ 呀 ”等 ， 它 们 被 视 为 句子 中 的 “噪声 ”) 以 做 进一步 处 
理 。 在 处 理 句 子 时 ， 人 脑 并 没有 考虑 语言 中 出 现 的 噪声 。 同 梓 ， 我 们 也 可 以 将 无 噪声 的 
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文本 输入 计算 机 以 做 进一步 的 处 理 。 

(2) 特征 工程 (Feature Engineering) 。 为 了 使 计算 机 处 理 预 处 理 的 文本 ， 它 需要 知 
道 句子 的 关键 特征 。 这 是 通过 特征 工程 步骤 完成 的 。 

(3) NLP 处 理 。 将 人 类 语言 转换 为 特征 矩阵 之 后 ， 计 算 机 可 以 执行 NLP 处 理 ， 该 
处 理 可 以 是 分 类 、 情 感 分 析 或 文本 匹配 。 

接 下 来 ， 将 笃 试 了 解 在 每 个 步骤 中 执行 的 局 级 活动 。 


7.1.2 文本 预 处 理 技 术 


在 处 理 文本 之 前 ， 需 要 对 其 进行 预 处 理 。 预 处 理 将 处 理 以 下 内 容 。 

口 ” 消 除 文本 中 的 噪声 。 

口 ”规范 化 (Normalizing) 句子 。 

口 标准 化 (Standardizing) 句子 。 

根据 要 求 ， 还 可 以 有 其 他 步骤 ， 例 如 语法 检查 或 拼写 检查 。 

1. 消除 噪声 

人 句子 中 可 能 与 数据 上 和 下文 无 天 的 任何 文本 都 可 以 称 为 噪声 (Noise) 。 

例如 ， 这 可 以 包括 语言 停止 词 〈 即 语言 中 的 第 用 词 is、am、the、of 和 in 等) 、URL 
或 链接 、 社 交 媒 体 实 体 〈 主 题 标签 ) 和 标点 符号 等 。 

为 了 消除 句子 中 的 噪声 ， 一 般 的 方法 是 维护 一 个 噪声 词 字典 ， 然 后 针对 该 字典 迭 代 
所 考虑 句子 的 标记 ， 并 删除 匹配 的 停止 词 。 噪 声 词 的 词典 会 经 常 更 新 以 覆盖 所 有 可 能 以 
噪声 。 

2. 规 汇 化 

句子 中 单词 的 差异 会 转换 为 规范 化 形式 。 句 子 中 的 单词 可 能 会 有 所 不 同 ， 例 如 sing、 
singer、sang 或 singing， 但 它们 或 多 或 少 部 适合 于 相同 的 上 下 文 并 且 可 以 标准 化 。 

规范 化 句子 的 方法 包括 以 下 内 容 。 

口 “ 词 干 提取 〈Stemming) : 基于 规则 从 单词 中 去 除 后 级 (例如 ，-Ing、-ly、-es、-s) 

的 基本 过 程 。 
口 词 形 还 原 (Lemmatization): 识别 词根 形式 的 更 复杂 的 过 程 。 它 涉及 更 复杂 的 
验证 语义 和 语法 的 过 程 。 
3. 标准 化 
此 步 又 涉及 对 句子 进行 标准 化 , 以 确保 其 仅 包含 来 自 标准 语言 词典 的 记号 (Token) ， 
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而 不 包含 任何 其 他 标记 ， 例 如 主题 标签 、 口 语 单词 等 。 所 有 这 些 都 在 此 步骤 中 删除 。 
7.1.3 ”特征 工程 


在 处 理 了 文本 之 后 ， 接 下 来 的 步骤 就 是 安排 文本 中 的 特征 ， 以 便 可 以 将 其 输入 任何 
机 器 学 习 算法 中 以 进行 分 类 、 聚 类 等 。 有 多 种 方法 可 以 将 文本 转换 为 特征 矩阵 ， 本 节 将 
介绍 其 中 的 一 些 方法 。 


1. 实体 提取 

现在 可 以 从 句子 中 提取 将 用 于 NLP 处 理 的 关键 实体 。 命 名 实体 识别 (Named Entity 
Recognition，NER) 就 是 这 样 一 种 方法 ， 其 中 的 实体 可 以 是 比较 知名 的 实体 ， 例 如 地 点 、 
人 物 或 历史 遗迹 等 。 

2. 主题 建 模 


这 是 从 文本 语料库 中 识别 主题 的 另 一 种 方法 。 主 题 可 以 是 单个 单词 、 单 词 模式 或 同 
时 出 现 的 单词 序列 。 根 据 主题 中 的 单字 的 个 数 ， 这 些 词 可 以 称 为 N 元 模型 (N-Gram 
Model) 。 因 此 ， 基 于 上 下 文 和 可 重复 性 ， 可 以 将 二 元 模型 (Bigram Model) 和 三 元 模型 
(Trigram Model) 用 作 特 征 。 

3.， 词 农 模 型 

词 袋 模型 (Bag-Of Words，BOW) 是 文本 的 表示 形式 ， 描 述 了 文档 中 单词 的 出 现 。 
它 涉 及 已 知 单词 的 表示 以 及 文档 中 已 知 单词 存在 的 度量 。 该 模型 更 关 广 文档 中 已 知 单词 
的 出 现 ， 而 不 是 文档 中 单词 的 顺序 或 单词 的 结构 。 

4. 统计 工程 

文本 数据 也 可 以 使 用 各 种 技术 表示 为 数值 。 大 量 文本 语料库 (Corpus) 的 词 频 - 逆 文 档 
频率 (Term Frequency-Inverse Document Frequency，TF-IDF) 是 此 类 中 的 一 项 重要 技术 。 

5. TF-IDF 简介 

TF-IDF 是 一 种 加 权 模 型 ， 用 于 根据 文档 中 单词 的 出 现 情况 将 文本 文档 转换 为 天 量 模 
型 ， 而 无 须 考虑 文档 中 文本 的 确切 顺序 。 

现在 ， 假 设 有 一 组 六 个 文档 和 其 中 任何 一 个 文档 娓 ， 然 后 定义 以 下 内 容 。 

(1) TF 

这 可 以 测量 本 语 在 文档 中 出 现 的 频率 。 由 于 每 个 文档 的 长 度 都 不 同 ， 因 此 长 文档 中 
的 术语 可 能 比 短文 档 中 的 术语 更 多 。 因 此 ， 通 常 将 TF 除 以 文档 长 度 以 对 其 进行 归 一 化 。 
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TFI = (术语 上 在 文档 (D 中 出 现 的 次 数 X( 文 档 (M) 中 的 术语 总 数 ) 

(2) 逆 文 档 频 率 (IDF) 

它 可 以 衡量 术语 对 语料库 的 重要 性 。 在 计算 TF 时 ， 所 有 术语 都 被 视 为 同等 重要 。 当 
然 , 一 般 认为 停 用 词 出 现 的 频率 更 高 , 但 是 就 NLP 而 言 ， 停 用 词 的 重要 性 就 不 那么 高 了 。 
因此 ， 有 必要 降低 普通 术语 的 重要 性 ， 并 提高 稀有 术语 的 重要 性 ， 因 此 ，IDF 的 计算 方 
式 如 下 。 

IDPFD = lg( 文 档 总 数 / 其 中 和 融 有 术语 1 的 文档 数 ) 
(3) TF-IDF 
TF-IDF 给 出 了 术语 在 语料库 (文档 列表 〉 中 的 相对 重要 性 ， 它 由 以 下 公式 给 出 。 


N 
wj, = Xlog 立 | 


其 中 : 

口 #fj 为 i 在 j 中 的 出 现 次 数 。 

口 4f 为 包含 i 的 文档 数 。 

口 NN 为 文档 总 数 。 
例 提示 : 

考虑 一 个 包含 1000 个 单词 的 文档 ， 其 中 单词 rat 出 现 3 次 ,那么 rat 的 词 频 (TF) 为 
(3/1000) = 0.003。 现 在 ， 在 10000 个 文档 中 ， 其 中 有 1000 个 文档 出 现 了 单词 cat。 因 此 ， 
逆 文 档 频 率 (IDF ) 可 计算 为 jg(10000/1000) = 1。 因 此 ，TF-IDF 权重 是 这 些 数 量 的 乘积 
为 0.003 x 1 = 0.003 。 


文本 语料库 中 的 单词 或 特征 也 可 以 组 织 为 特征 向 量 , 以 便于 输入 NLP 处 理 的 下 一 步 。 
7.1.4 分 类 / 聚 类 文本 

最 后 一 步 是 使 用 特征 工程 矩阵 或 词 向 量 实际 执行 分 类 或 聚 类 。 我 们 可 以 使 用 任何 分 
类 算法 并 提供 特征 向 量 来 进行 分 类 或 聚 类 。 


与 执行 聚 类 相似 ， 可 以 使 用 不 同 的 相似 性 度量 ， 例 如 余弦 距离 (Cosine Distance) 或 
编辑 距离 (Levenshtein Distance) 。 


7.2 理解 线性 SVM 算法 


在 本 书 第 2 草 “ 监 督学 习 和 无 监督 学 习 算 法 ”中 己 经 介绍 过 文 持 同 量 机 算法 ， 并 且 
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对 SVM 模型 的 工作 原理 有 所 了 解 。 线 性 文 持 回 量 机 或 线性 SVM 是 一 种 线性 分 类 右 ， 它 
试图 找到 具有 最 大 余 量 的 超 平 面 ， 该 超 平面 将 输入 空间 分 为 两 个 区 域 。 
他 提示: 

超 平面 (Hyperplane ) 是 对 平面 的 概括 。 在 一 维 空 间 ， 超 平面 称 为 点 ( Point ) 。 在 二 
维 空 间 中 ， 它 是 一 条 线 。 在 三 维 空 间 上 ， 它 是 一 个 平面 。 在 更 多 维度 上 ， 则 可 以 将 其 称 
为 超 平面 。 


如 前 文 所 述 ，SVM 的 目标 是 识别 试图 找到 最 大 余 量 的 超 平面 ， 该 最 大 余 量 将 输入 空 
间 分 为 两 个 区 域 。 如 果 输 入 空间 是 线性 可 分 离 的 ， 则 很 容易 将 它们 分 离 。 但 是 ， 在 现实 
生活 中 ， 我 们 发 现 输入 空间 往往 是 非 线性 的 ， 如 图 7-1 所 示 。 


图 7-1 


在 上 面 的 场景 中 ，SVM 可 以 通过 使 用 所 谓 的 核 技巧 (Kermel Trick) 帮助 我 们 将 深 色 
和 浅 色 的 球 分 开 ， 这 是 使 用 线性 分 类 器 解决 非 线 性 问题 的 方法 。 

核 函 数 (Kernel Function) 可 应 用 于 每 个 数据 实例 ， 以 将 原始 非 线 性 观测 值 映 射 到 一 
个 更 高 维度 的 空间 中 ， 在 这 些 空间 中 它们 可 以 分 离 。 

可 用 的 最 党 欢迎 的 核 国 数 包 括 以 下 内 容 。 

口 线性 核 (Linear Kerel) 。 

口 多 项 式 核 (Polynomial Kernel) 。 

口 RBF (高 斯 核 ) 。 

DQ 了 字 从 串 核 (String Kemel) 。 

通常 建议 将 线性 核 用 于 文本 分 类 ， 因 为 大 多 数 文 本 分 类 问题 十 要 分 类 为 两 类 ， 例 如， 
在 本 章 示 例 中 ， 我 们 就 是 希望 将 SMS 消息 分 为 垃圾 邮件 和 非 垃 圾 邮件 。 
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7.3 在 Core ML 中 使 用 线性 SVM 解决 问题 


本 节 将 研究 如 何 使 用 本 章 中 介绍 的 所 有 概念 来 解决 垃圾 邮件 检测 问题 。 

我 们 将 接收 一 堆 SMS 消息 ， 并 符 试 将 其 分 关 为 垃圾 邮件 或 非 垃圾 邮件 。 这 是 一 个 
分 类 问题 ， 考 虑 到 使 用 线性 SVM 算法 进行 文本 分 类 的 优势 ， 可 以 使 用 该 算法 来 执行 此 
操作 。 

我 们 将 使 用 自然 语言 处 理 CNLP) 技术 将 数据 SMS 消息 转换 为 特征 网 量 ， 以 输送 到 
线性 SVM 算法 中 。 可 以 使 用 scikit-leam 同 量 化 (Vectorizer) 方法 将 SMS 消息 转换 为 


邮件 和 非 垃圾 邮件 ) 。 
7.3.1 关于 数据 
本 示例 用 于 创建 垃圾 邮件 检测 模型 的 数据 来 自 以 下 网 站 。 


http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/ 


其 中 包含 747 个 垃圾 邮件 样本 以 及 4827 个 非 垃圾 邮件 样本 。 
这 些 邮 件 来 目 不 同 的 来 源 ， 并 标记 为 垃圾 邮件 (Spam) 和 非 垃圾 邮件 (Non-Spam) 
类 列 。 如 果 在 记事 本 或 任何 文本 编辑 器 中 打开 下 载 的 文件 ， 则 可 以 看 到 它 是 以 下 格式 的 。 


ham What you doing?how are you? 

ham Ok lar... JoKklng wif u oni... 

ham dun say So early hor... U c already then say... 

ham MY NO. IN LUTON 0125698 7189 RING ME IE UR AROUND! H* 

ham Siva 1S jin hostel aha:-. 

ham Cos 1 was out shopping with darren us now n 1 called him 2 ask wat 


present he wan lor. Then he started quessing who 1 Was wif n he finally 
guessed darren lor. 

spam FreeMsqgq: Txt: CALL to No: 86888 & claim your reward of 3 hours talk 
time to use from your phone now! ubscribe6éGBP/ mnth inc 3hrs 16 
stop:txtSstop 

spam Sunshine Qulzl Win a super Sony DVD recorder if You can name 七 he 
capital of Australia? Text MOUI to B221i1. B 

spam URGENT! Your Mobile No 01808 17126822 was awarded a L2,000 Bonus Caller 
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Prize on 02/09/03! This is our 2nd attempt to contact YOU! Call 
0871-—8/2—93158 BOXSoOU 


在 上 述 示例 中 ， 可 以 看 到 每 一 行 都 以 类 别名 称 开 头 ， 然 后 是 实际 消息 。 
7.3.2 技术 要 求 


要 创建 一 个 模型 来 将 邮件 分 类 为 垃圾 邮件 或 非 垃 圾 邮件 ， 需 要 一 个 能 够 做 到 这 一 点 
的 库 。 在 这 里 ， 选 择 了 scikit-Leam。 

要 编写 此 应 用 程序 ,开发 人 员 需 要 在 果 面 上 安装 Python 3+ 版 本 ， 并 且 必 须 在 Mac 机 
器 上 安装 Xcode 9+。 如 果 读 者 没有 这 些 ， 请 查阅 本 书 的 附录 以 了 解 如 何 获取 它们 。 在 计 
算 机 中 安装 Python 之 后 ， 可 执行 以 下 命令 以 获取 所 需 的 软件 包 。 

Pip install scikit-learn 

Pip install numpy 

Pip install coremltools 

Pip install pandas 

使 用 上 述 代 码 ， 即 已 安装 了 scikit-leam 来 访问 该 算法 ， 并 根据 scikit-leam 的 要 求 访 
问 NumPy， 还 有 pandas (pandas 是 BSD 许可 的 开放 源 代 人 码 库 ， 它 可 以 为 Python 编程 提 
供 高 性 能 、 易 于 使 用 的 数据 结构 和 数据 分 析 工 具 ) ， 以 便 从 文件 中 读 取 模型 ， 并 使 用 
core-ML 工具 生成 Core ML 模型 文件 。 

现在 ， 从 7.3.1 节 提 供 的 模型 链接 中 将 纯 文 本 文件 SMSSpamCollection.txt 下 载 到 磁盘 
上 ， 并 将 其 放 入 project 文件 夹 中 。 


7.3.3 使 用 Scikit Learn 创建 模型 文件 


在 project 文件 夹 中 ， 使 用 以 下 代码 创建 Python 文件 以 创建 模型 文件 。 
# 导入 必要 的 软件 包 


1Import numpy as np 
import pandas as pd 


# 读 入 并 解析 数据 
raw data = open('SMSSpamCollection.txt", ‘'r'") 
sms data | 
for line in raw data: 
SPLlitline Tinmne opliel YE |) 
sms data.append (split line) 
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# 将 数据 分 为 消息 和 标签 ， 训 练 和 测试 y ( 包 合 标签 ) 和 x (包含 消 轧 文本 ) 


sms data = np.array (sms data) 
X= sms datal:, 1] 
y= Sms datal:, 0] 


# 构建 LinearSVc 模型 
from sklearn.fLeature extraction.text ijimport TfidiVectorizer 


from sklearn.svm import IInearSVC 


# 构建 数据 的 tf-idf 向 量 表示 方式 


vectorizer = TfidfVectorizert() 


# 将 消息 文本 转换 为 问 量 


vectorized text < Vectorizer: Tit transitormi(X) 


text clf = LinearsvVvc |() 
# 拟 合 模型 


Lext cliT = text clf.Tit(lvectorized Text, YY) 


要 测试 拟 合 的 模型 ， 可 以 诬 加 以 下 代码 。 


print text clf.predict (vectorizer.transform(["™" XXXMobjleMovieClub: To Use 
YOUT credit, click the WAP link In 七 he next txt message or click here>> 
http://wap.xxxmobilemovieclub.com?n=QJKGIGHJJGCBL"™""])) 


| | 
O 注意 : 


执行 上 述 程 序 后 ， 它 将 显示 给 定 的 邮件 是 垃圾 邮件 还 是 非 垃圾 邮件 。 
7.3.4 将 scikit-learn 模型 转换 为 Core ML 模型 


在 7.3.3 节 中 ， 创 建 了 模型 以 将 邮件 分 类 为 垃圾 邮件 和 非 垃 圾 邮件 。 现 在 需要 将 其 转 
换 为 Core ML 模型 ， 以 便 可 以 在 10S 应 用 程序 中 使 用 它 。 

要 创建 Core ML 模型 ， 可 以 将 以 下 行 添加 到 前 面 的 代码 中 并 运行 它们 ， 这 将 创建 一 
个 .mlmodel 文件 。 

# 导入 库 


import coremltools 


# 将 已 经 拟 合 的 模型 转换 为 coreml 模型 
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coreml model = coremltools.converters.sklearn.convertitext clf, 站 全 SSaoe ， 
“spam or not”") 


# 设置 模型 的 参数 

coreml model.short description = "Classily whether message 1s spam or not" 
coreml model.input description| message”| = “TFIDE of message to be 
Classified" 

coreml model -output descriptionl"spam or not | = Whether message 1s spam 


or not™ 


# 保持 模型 


coreml model .save("SpamMessageClassiflier.mlmodel") 


现在 可 以 获取 生成 的 SpamMessageClassifier.mlmodel 文件 ， 并 在 Xcode 中 使 用 它 。 
7.3.5 编写 iOS 应 用 程序 

开 友 人 员 可 以 在 以 下 GitHub 存储 库 中 获得 本 1OS 项 目的 代码 。 

https:/glthub.comyPacktPubllshmg/Machime-Learning-tor-Moblle 

下 载 该 项 目 并 在 Xcode 中 打开 它 之 后 ， 将 看 到 如 图 7-2 所 示 的 目录 结构 。 


|。 


下 外 spam detection 


‘ spam detection 

[下 | SpamMessageClassifier.mlmodel 
Wordlist.txt 
Main.storyboard 
AppDelegate.swift 
ViewController.swift 

| Assets.xcassets 
Launchscreen.storyboard 
Info.plist 
bp Products 


图 7-2 


在 此 需要 解释 一 些 重要 文件 。 首先 , Main.storyboard 中 将 包含 该 应 用 程序 的 UI 设计 ， 
如 图 7-3 所 示 。 
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二 View Controller Scene 
到 View Controller 
B41 ANM 
kb VieEW 
jh First Responder 
[四 Exit 
> Storyboard Entry Poi.., 


Enter your text 


中 View as: iPhone 8 (nC hR) 


图 7-3 
在 该 用 户 界 面 中 有 两 个 标签 、 一 个 按钮 和 一 个 文本 杠 。 这 两 个 标签 是 标题 标签 和 结 
果 标 签 ， 按 钮 提交 输入 并 获取 结果 ， 我 们 有 一 个 文本 框 可 以 提供 一 条 消息 作为 输入 ， 主 
处 理 过 程 写 在 controller.swift 视图 中 。 
// 通用 导入 


import UIKit 
import CoreML 


class ViewController: UIViewController I 
// 绑 定 到 UI 元 素 
QIBOuUutlet weak var messageTextField: UITextField! 
QIBOutlet weak Var messageLabel: UILabel! 
QIBOutlet weak var spamLabel: UILabel! 


// 该 函数 将 从 用 户 输入 中 获取 文本 并 将 其 转换 为 同 量 格式 ， 这 是 模型 使 用 下 载 的 wordslist.txt 
文件 和 sMsspamCollection .txt 文件 所 需 的 格式 
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func tfidf (sms: String})} -> MLMuUultiArravyl! 
// 获取 文件 路 径 
let wordsFile = Bundle.main.path (forResource: "wordlist", ofType: 
下 
let smsFile = Bundle.main.path (forResource: "SMSSpamCollection™y, 
ofTvype: "txt") 
do 1{ 
// 读 取 词句 文件 
let wordsFileText = try Stringt{contentsOfFjle: wordsFilel, 
encoding: String.Encoding.utf8) 
var wordsData = wordsFileText .components (separatedBy: 
.Newlines) 
wordsData.removeLast{() // 训练 新 行 
// 读 取 垃 圾 邮件 集合 文件 
Jet smsFileText = try String(contentsoOfFile: smsFijlel!, 
encoding: String.Encoding.utf8) 
Var smsData = smsFileText .components (separatedBy: .newlines,) 
smsData. removeLast () // 训练 新 行 
let wordsInMessage = sms.split (separator: 
// 创建 多 维 数组 
1 et wvectorized = try MLMUultiArray (shape: 
[NSNumber (jntegerLiteral: wordsData.count) |], dataType: 
MLMuUultiArravyDataType.double) 
for 1 in 0..<wordsData.countt 


EL Ww ) 


Jet word = wordsDatal|1l| 
i sms.contains (word)})I1 
Var wordCount = 0 
for substr jn wordsInMessagel 
if substr.elementsEqual (word)1 


woOIrdCount 二 = 1 


} 
let tf = Double (wordCount) / 
Double (wordsInMessage.count) 
Var docCount = 0 
for sms in smsDatalt 
1 sms.contains (word) 1 
docCount += 1 


} 
let idf = log (Double (smsData.count) / Double (docCount)) 
vectorized[i] = NSNumber (value: tf * idf) 

} else 1{ 
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vectorized|i| = 0.0 
} 
} 
return vectorized 
1 catch I 


return MLMuUultiArray!() 
} 
} 
override func viewDidLoad() { 
super.viewDidLoad () 


// 加 载 视 图 后 执行 任何 其 他 设置 ， 通 常 是 从 Nib 加 载 
} 
// 单 击 预测 按钮 时 ， 将 调用 此 函数 


QIBACtion func predictSpam( sender: UIButton) 1{ 
let enteredMessage = messageTextField.text! 
// 检查 并 处 理 空 消息 
1 (enteredMessage I= ™™)1 


spamLabel ee 


} 
// 调用 前 面 的 函数 将 文本 转换 为 同 量 
let wvec = tiidf (sms: enteredMessage) 
do 1 
// 将 输入 传递 给 模型 以 获取 预测 结果 
let prediction = 七 TY 
SpamMessageClassifier(} .prediction (message:vec}) -spam or mo 
print (prediction) 
if {prediction == “SPam )1{ 
spamLabel .text = "SPAMI" 
} 


// 我 们 的 模型 将 nam 作为 非 垃圾 邮件 的 标签 ， 因 此 模型 会 发 送 标签 nam。 出 于 显示 目的 ， 这 里 
需要 将 ham 转换 为 NOT sPAM〔 非 垃圾 邮件 》 
else if(prediction == "ham™" ){ 
spamLabel.text = "NOT SPAM" 


} 
} 
catchti 
// 捕获 异常 
spamLabel.text = "No Predictjon”™ 
} 


} 
在 Xcode 模拟 器 中 运行 该 应 用 程序 时 ， 它 将 生成 如 图 7-4 所 示 的 结果 。 
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Enter your text 


NOT SPAM 


图 7-4 
74 小 结 


本 章 详细 阐述 了 多 项 技术 的 知识 要 点 ， 例 如 ， 从 高 层次 上 理解 NLP。NLP 涉及 多 个 
步骤 ， 包 括 文 本 预 处 理 ， 以 及 执行 该 步骤 的 技术 《例如 特征 工程 和 执行 特征 工程 ， 以 及 
特征 向 量 分 类 或 聚 类 的 方法 ) 。 我 们 还 讨论 了 线性 SVM 算法 ， 详 细 曾 述 了 SVM 算法 、 
核 函 数 ， 并 解释 了 它 更 适用 于 文本 分 类 的 原因 。 

我 们 在 Core ML 中 使 用 线性 SVM 解决 了 本 章 的 问题 ， 并 且 还 演示 了 在 scikit learn 
中 开发 模型 并 转换 为 Core ML 格式 ， 然 后 使 用 线性 SVM 算法 模型 执行 垃圾 邮件 检测 的 
实际 示例 。 我 们 使 用 转换 后 的 Core ML 模型 编写 了 一 个 iOS 应 用 程序 。 

第 8 章 将 详细 介绍 另 一 个 机 器 学 习 框 架 : Fritz， 该 框架 试图 解决 在 模型 部 署 和 升级 
中 的 常见 问题 ， 以 及 在 移动 操作 系统 平台 上 统一 处 理 机 器 学 习 模 型 的 问题 。 
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在 前 面 各 章 中 ， 已 经 详细 讨论 了 多 个 面 癌 移动 设备 的 机 器 学 习 SDK， 包 括 由 Google 
提供 的 TensorFlow for mobile 和 Apple 提供 的 Core ML， 并 对 这 些 SDK 后 面 的 概念 做 了 
很 好 的 阐释 。 我 们 研究 了 这 些 产 品 的 基本 体系 结构 ， 它 们 提供 的 关键 功能 ， 还 和 尝 试 了 使 
用 这 些 SDK 的 一 些 任 务 /程序 。 基 于 到 目前 为 止 在 和 面 同 移 动 设备 的 机 器 学 习 框 架 和 工具 上 
讨论 的 内 容 ， 不 难 发 现 一 些 差 距 ， 这 些 卷 距 使 开展 面 同 移动 设备 的 机 器 学 习 部 草 以 及 后 
续 的 维护 和 支持 变 得 比较 困难 ， 试 举例 如 下 。 

口 一 旦 创建 了 机 器 学 习 模型 ， 并 将 其 导入 Android 或 iOS 应 用 程序 中 ， 如 果 需 要 

对 导入 到 移动 应 用 程序 中 的 模型 进行 任何 更 改 ， 那 么 该 如 何 解 决 此 更 改 并 将 其 
升级 到 在 现场 部 普 和 使 用 的 应 用 程序 ?在 不 草 新 部 革 移 动 应 用 程序 商店 (Apple 
App Store 或 Google Play Store) 中 的 应 用 程序 的 情况 下 ， 如 何 更 新 /升级 模型 ? 

口 “” 一 旦 机 器 学 习 模 型 在 现场 并 被 用 户 在 现场 使 用 ， 该 如 何在 实时 用 户 场景 中 监视 

模型 的 性 能 和 使 用 情况 ? 

口 另外 ,开发 人 员 可 能 已 经 体验 到 ， 在 iOS 和 Android 中 使 用 机 器 学 习 模 型 的 过 程 和 

机 制 并 不 相同 。 同 样 ， 使 机 器 学 习 模 型 使 用 多 种 机 右 学 习 框 染 〈( 例 如 TensorFlow 
和 scikit-learn) 创建 的 机 制 也 不 同 ， 使 其 与 TensorFlow Lite 和 Core ML 兼容 的 
机 制 也 有 上 所 不 同 。 开 上 友人 员 没 有 可 以 遵循 的 通用 流程 和 使 用 模式 来 路 框架 创建 
和 使 用 这 些 模型 。 有 鉴于 此 ， 可 以 认为 ， 如 果 有 一 种 通用 的 方法 来 使 用 来 目 不 
同 供应 商 的 机 器 学 习 模型 ， 使 用 相同 的 流程 和 机 制 ， 那 么 这 将 会 更 加 简单 。 

Fritz 平台 已 尝试 解决 在 机 器 学 习 模 型 的 使 用 和 部 得 中 观察 到 的 所 有 前 面 提 到 的 差 
距 。Fritz 作为 机 器 学 习 平 台 ， 试 图 提供 解决 方案 以 促进 机 器 学 习 模型 在 移动 应 用 程序 中 
的 使 用 和 部 罩 。 它 是 一 个 移动 机 器 学 习 平 台 ， 具 有 现成 可 用 的 机 器 学 习 功 能 ， 以 及 用 
于 导入 和 使 用 自 定义 机 器 学 习 模 型 (包括 TensorFlow for mobile 和 Core ML 模型 ) 的 
选项 。 

本 章 将 讨论 以 下 内 容 。 

口 “了解 Fritz 移动 机 器 学 习 平 台 ， 其 功能 和 优势 。 

口 使 用 通过 Core ML 创建 的 回归 模型 探索 Fritz， 并 实现 1OS 移动 应 用 程序 。 

口 “” 使 用 通过 TensorFlow for mobile 创建 的 示例 Android 模型 探索 Fritz， 并 实现 
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Android 移动 应 用 程序 。 
8.1 关于 Fritz 


Fritz 是 一 个 免费 的 端 到 端 平 台 ， 它 使 开发 人 员 能 够 轻松 创建 基于 机 器 学 习 的 移动 应 
用 程序 。 它 是 一 个 启用 设备 上 机 器 学 习 的 平台 ， 也 就 是 说 ， 它 有 助 于 创建 可 以 完全 在 移 
动 设备 上 运行 的 机 器 学 习 应 用 程序 ， 同 时 它 支 持 10S 和 Android 平台 。 


8.1.1 预 建 机 器 学 习 模 型 


Fritz 提供 了 可 直接 用 于 面 同 移 动 设备 的 应 用 程序 的 内 置 机 器 学 习 模型 。 以 下 是 Fritz 
支持 的 两 个 重要 模型 。 
口 对 象 检测 (Object Detection) : 可 以 在 图 像 或 实时 视频 的 每 一 帆 中 识别 感 兴趣 的 
对 象 。 这 可 以 帮助 用 户 了 解 图 像 中 有 哪些 对 象 ， 以 及 它们 在 图 像 中 的 位 置 。 对 
象 检测 功能 可 完全 在 设备 上 进行 预测 ， 无 须 互 联网 连接 。 
口 图 像 标记 (Image Labeling) : 可 以 识别 图 像 的 内 容 或 实时 视频 的 每 一 帧 ， 这 也 
可 以 完全 离线 工作 ， 不 需要 互联 网 连接 。 


8.1.2 使 用 自 定义 模型 的 能 


Fritz 使 开发 人 员 能 够 将 为 Core ML、TensorFlow for mobile 和 TensorFlow Lite 构建 的 
模型 导入 移动 应 用 程序 中 ， 并 提供 可 以 直接 与 这 些 模型 进行 交互 的 API 


8.1.3 ”模型 管理 


Fritz 的 主要 优点 是 它 支 持 机 器 学 习 模 型 官 理 和 实时 升级 。 

口 它 使 开发 人 员 能 够 实地 升级 已 部 普 的 机 絮 学 习 模 型 ， 也 就 是 说 ， 它 使 开发 人 员 
可 以 快速 升级 或 更 改 机 器 学 习 模 型 ， 而 无 须 在 移动 应 用 程序 商店 中 进行 应 用 程 
序 的 升级 和 重新 部 赣 。 

口 ” 它 为 开发 人 员 提 供 了 监视 部 列 到 现场 的 机 器 学 习 模 型 性 能 的 工具 。 

口 它 有 助 于 部 普 、 分 析 和 管理 机 器 学 习 模 型 。 
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8.2 使 用 Fritz 的 实战 示例 


本 节 将 尝试 使 用 Fritz 以 及 已 经 通过 Core ML 和 TensorFlow 创建 的 模型 ,并 使 用 Fritz 
构建 OS 和 Android 移动 应 用 程序 。 除 此 之 外 ， 还 将 讨论 如 何 使 用 Fritz 内 置 模型 ， 例 如 
对 象 检测 和 图 像 标 记 。 


8.2.1 通过 Fritz 使 用 现 有 的 TensorFlow for mobile 模型 


本 节 将 探讨 如 何 通过 Fritz 使 用 TensorFlow for mobile 模型 (该 模型 已 经 使 用 Fritz 工 
具 包 在 Android 移动 应 用 程序 中 创建 ) 。 我 们 将 采用 由 TensorFlow for mobile 创建 的 示例 
模型 来 进行 (ae+ 刀 ”计算 。 以 下 将 详细 介绍 实现 此 目标 所 需 的 详细 步骤 。 
1. 在 Fritz 注册 
为 了 使 用 Fritz， 开 发 人 员 必 须 在 Fritz 网 站 门户 上 注册 一 个 账户 ， 其 操作 步骤 如 下 。 
(1) 前 往 https:Wfritz.al/。 
(2) 单 击 顶 部 菜单 上 的 Login (登录 ) 。 
(3) 单 击 Create an account (创建 账 户 〉。 
(4) 输入 详细 信息 并 提交 。 
(5) 在 Fritz 中 创建 一 个 新 项 目 。 
拥有 账户 后 ， 请 使 用 凭据 登录 ， 然 后 执行 以 下 步骤 。 
(1) 单 击 Add A New Project《〈 添 加 新 项 目 ) 按钮 。 
(2) 输入 项 目 名 称 和 组 织 。 
(3) 单 击 Submit (提交 ) 。 
2. 上 传 模型 文件 
(1) 单 击 左 侧 菜单 中 的 Custom Models ( 自 定义 模型 )。 
(2) 给 出 模型 名 称 和 描述 。 
(3) 上 传 模型 文件 (扩展 名 为 .pb 或 tflite) 。 
(4) 单 击 Create model file (创建 模型 文件 ) 按钮 。 
上 传 后 ， 模 型 页 面 如 图 8-1 所 示 。 
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在 这 里 ， 使 用 的 是 与 本 书 第 3 章 “1OS 上 的 随机 森林 ”中 创建 的 模型 相同 的 TensorFlow 
for Android 模型 ， 其 GitHub 存储 库 地址 如 下 。 

https://github.com/PacktPublishing/Machime-Learning-for-Mobile/blob/master/tensorflow 
%20simple/tensor/trozen ttdrold.pb 


3. 设置 Android 并 注册 应 用 

我 们 已 经 创建 了 一 个 项 目 并 为 其 添加 了 模型 ,现在 来 看 一 看 如 何在 Android 项 目 中 使 
用 此 模型 。 首 先 需 要 将 本 书 第 3 章 “iOS 上 的 随机 森林 ”中 讨论 过 的 TensorFlow 简单 示 
例 转 换 为 fritz 格式 。 请 在 Android Studio 中 打开 该 示例 。 

如 果 开 发 人 员 还 没有 该 示例 ， 则 可 以 从 以 下 GitHub 存储 库 地 址 下 载 。 

https://github.com/PacktPublishing/Machime-Learning-for-Mobile/tree/master/tensorflow 
%20simple 

在 上 述 路 径 的 TensorFlow 示例 中 有 可 以 在 Android Studio 中 打开 的 Android 项 目 。 

4. 添加 Fritz 的 TFMobile 库 

本 节 将 把 这 个 项 目 转换 为 Fritz 管理 的 项 目 。 在 模型 页 面 中 , 单 击 SDK INSTRUCTIONS 

(SDK 用 法 说 明 ) 按钮 ， 它 将 打开 一 个 对 话 框 ， 显 示 集 成 信息 ， 如 图 8-2 所 示 。 
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Use the Fritz Interpreter to manage your models 


Replace the TFLite Interpreter or TFMobile Inference Interface with the Fritzinterpreter. For the model path* 
specify the name of your model (8.g digits tflite). 


FritzInterpreter interpreter = Fritz.getIn 
enW Modelsettines.Builder 
:Modelld 
.odelPath 
.modelVersion(1) 


L 
w= 


自 copy 


+ The modelPpath Species Where your initial modael is located in app storage. If i's in the assets folder. you can 
just specify the name of the file. 


Configuration 


odead Id 


: , 
] Baoed387d99c493ed9cbes 


APl| Key 


£35d2bsbbba84ecadddb 
| 


和 


在 该 界面 中 可 以 看 到 API Key (对 于 该 项 目 而 言 是 唯一 的 ) 、Model Id (上 传 的 每 个 
模型 都 会 更 改 ) 以 及 创建 解释 器 的 代码 。 

5. 向 项 目 添加 依赖 项 

为 了 访问 Fritz 解释 器 (Interpreter) ， 开 发 人 员 需 要 同 项 目 添加 依赖 项 。 方 法 是 打开 
模块 应 用 程序 的 build.gradle 文件 ， 然 后 添加 一 个 指向 Fritz Maven 存储 库 的 存储 库 条 目 。 
需要 添加 的 代码 如 下 。 


repositories 1 

maven { url “https://raw.github.com/fritzlabs/fritz-repository/master" 
} 
} 


现在 添加 Fritz 依赖 项 。 


dependencies 1 
implementation fileTree(dir: "libs", ijinclude: [+*-]ar |) 
lmp emnentation com.android.support:appcompat—vi:2/.1.0" 
implementation ‘com.android.support.constraint:constraint-layout: 
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| Ep 
Temenation ‘al.fritz:core:1 .0.0" 
implementation "ali.fritz:custom model-—tfmobile:1.0.0" 
imDlementation "com.stripe:stripe— android:6.1.2" 
} 
通过 上 述 代码 , 添加 了 Fritz 核心 库 和 tfmobile 库 。Fritz 核心 库 需 要 与 Fritz 云 服务 器 
进行 通信 ， 以 下 载 模型 文件 进行 版 本 管理 。 在 使 用 TensorFlow 移动 模型 时 需要 tfmobile 
库 ， 并 且 需 要 TensorFlow 库 进 行 推理 。 
6. 在 Android Manifest 中 注册 FritzJob 服务 
如 前 文 所 述 ， 当 应 用 程序 部 荀 在 Fritz 云 服 务 器 中 时 , 它 将 下 载 模型 文件 。 为 此, Fritz 
实现 了 一 个 名 为 FritzJob Service 的 服务 ， 该 服务 将 在 后 台 运 行 。 当 发 现在 Web 控制 台中 
部 普 了 新 模型 时 ， 它 将 在 设备 连接 到 Wi-Fi 后 符 试 下 载 它 。 
要 登录 Fritz 云 账 户 ， 用 户 的 应 用 程序 需要 一 些 攒 据 。 为 此 ，Fritz 提供 了 一 个 API 
密 钥 。 我 们 需要 在 Android Manifest XML 文件 中 添加 一 个 meta 条 目 ， 如 下 所 示 。 


<meta—data android:name="fritz apli key” 
android:value="6265ed5e7Te334a97bbc750a09305cb19"™ /> 


单 击 SDK INSTRUCTIONS (SDK 用 法 说 明 ) 按钮 时 ， 需 要 用 浏览 器 中 上 一 个 对 话 
框 获得 的 Fritz API 密 钥 的 值 蔡 换 它 。 
还 需要 声明 Fritz 作业 ， 如 下 所 示 。 
<SEIrLVice 
android:name=~" alil.fritz.core.FritzJob" 
android:exported="true™ 


android:permission="android.permission.BIND JOB SERVICE™ /> 

由 于 应 用 程序 需要 通过 Wi-Fi 连接 到 云 服务 器 ， 因 此 还 需要 设置 互联 网 访问 权限 ， 

具体 如 下 所 示 。 

<uses-permission android:name="android.permission.INTERNET"/> 

现在 ， 整 个 清单 〈Manifest) 文件 将 如 下 所 示 。 

< 2xXml version="1] .0" encoding=" Dt 二 一 入 ?> 

<manifest xmlns:android="http://schemas.android.com/apk/res/android"™ 
Package="org.packt .fritz.samplefritzapp"> 


<uSes-permission android:name="android.permission.INTERNET"/> 


<application 
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android:allowBackup="true”™ 
android:icon="@mipmap/ic launcher" 
android:1label="@string/app name" 
android:roundIcon="@mipmap/ic launcher round" 
android: supportsRtl="true™ 
android:theme="@style/AppTheme"> 
<activity android:name=" .MainActivity"> 

InLent filters 

<action android:name="android.intent.action.MAIN™ /> 


<category android:name="android.intent.category.LAUNCHER™ /> 
</intent—filter> 
</activity> 
<meta data android:name—"fritz apl key 
android:value="6265ed5eTe334a97bbc750a09305cb]l9™ /> 
<SeILVice 
android:name—" ai.fritz.core.FritzJob”" 
android:exported="true”™ 
android:permission~="android.permission.BIND JOB SERVICE” /> 
</application> 


</manifest> 


7. 用 Fritz 解释 器 替换 TensorFlowlnferencelnterface 类 
打开 应 用 程序 的 主要 活动 并 进行 以 下 更 改 。 


package org.packt.fritz.samplefritzapp; 


import android.os.Bundle; 

import android.support .vi.app.-.AppCompatActivity; 
import android .view.View;s 

import android.widget .Button; 

import android.widget .EditText; 

import android.widget .TextView; 

import android.widget.Toast; 


import org.tensorflow.contrib.android.TensorFlowlnferencelnterfacer 


MPOTE a ETI COre*y 
import ai.fritz.customtfmobile.*s 


在 上 面 的 import 语句 中 ， 为 Fritz 核心 库 和 Fritz 目 定 义 模型 库 添 加 了 导入 ， 并 且 还 
使 用 了 Google TensorflowInferecelInterface。 
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Public class MainActivity extends AppCompatActjvity 1 
private TensorFlowlnferencelInterface inferencelnterface; 


static 1 
System.loadLibrary!(" tensorflow inference"); 


} 

在 上 面 的 几 行 中 ， 声 明了 TensorFlow 推理 接口 ， 并 加 载 了 tensorflow inference 库 ， 
该 库 是 可 选 的 ， 这 可 以 由 Fritz 本 里 隐 式 完成 。 

QOverride 

protected void oncreate (Bundle savedinstanceState) I 

Super.onCreate (savedIiInstancesState); 

setContentView(R.layout .activity main); 

Fritz.confiqure(this}); 

在 上 面 的 代码 中 ， 已 经 配置 了 Fritz 服务 并 将 其 与 应 用 程序 链接 。 在 这 里 ， 它 将 验证 
是 否 将 应 用 程序 包 名 称 添加 a 到 Fritz 控制 合 。 

在 这 种 情况 下 ， 需 要 在 Fritz Web 控制 台 的 项 目 左 侧 亲 单 中 单 击 Project Settings (项 
目 设置 ) 。 然 后, 单 击 Add android app《〈 添 加 Android 应 用 程序 ) ， 这 将 打开 一 个 对 话 框 ， 
如 图 8-3 所 示 。 


ADD FRITZ TO YOUR APP 


站 四 Register app 


Provide the name and Package ID to identify your app. 
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在 这 种 情况 下 ， 有 用户 需 要 为 自己 的 应 用 程序 命名 以 供 识别 。 然 后 ， 需 要 从 Android 
清单 文件 中 获取 包 名 称 ， 并 将 其 输入 到 Package ID 〈 包 ID) 文本 字段 中 。 
可 以 从 清单 文件 的 manifest 标签 中 获得 这 一 特定 代码 ， 如 下 所 示 。 
<?2Xml version="1] .0" encoding="utf-—8"?> 
<manifest xmlns:android="http://schemas.android.com/apk/res/android" 
package="org .packt .fritz.samplefritzapp"> 
注册 之 后 ， 人 返回 我 们 的 代码 。 


try 1 


FritzTFEFMobileInterpreter jnterpreter = 
FritzTFEFMobileInterpreter.create (this.getApplicationContext ()}, 
new ModelSettings.Bulilder() 

-moOodelId(" 2a8320 1a32334fceaa29498fy /chd9ae") 
.modelPath ("ab2? .pb") 

.modelVersiont(]) 

-build(}}; 


在 这 里 ， 我 们 为 Fritz 模型 创建 一 个 对 象 。 第 一 个 参数 是 应 用 程序 上 下 文 对 象 ， 第 
二 个 参数 是 模型 信息 对 象 。 

在 模型 设置 中 , 我 们 将 提供 模型 ID, 这 可 以 从 单 击 Fritz Web 控制 台 的 模型 页 面 中 的 
SDK INSTRUCTIONS (SDK 用 法 说 明 ) 按钮 时 显示 的 对 话 框 中 获得 。 

另 一 个 重要 的 东西 是 模型 路 径 。 这 是 放置 在 assets 文件 夹 中 的 模型 文件 名 。 

inferencelnterface = interpreter.getinfterencelnterface (}); 

在 上 面 的 行 中 ， 将 获取 TensorFlow 推理 接口 (inferencelInterface) 对 象 ， 并 将 其 分 配 
给 全 局 声明 的 变量 。 

final Button button = (Button} findViewByld(R.1id.button); 


button.setoncCclickListener{(new View.onClickListener() 1 
Public void onClick(View Vw) I 


final EditText editNuml 
final EditText editNume 


(EditText) findViewById(R.id.editNuml); 
(EditText) findViewById(R.id.editNum2); 


float numl = Float.parseFloat (editNuml .getText () .toSsString({(})); 
float num2 = Float.parseFloat (editNum2 .getText () .toString()})); 
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Longll 1 = (iils 


int[|] a {Math.round (numl)}) }; 
int[] b = {Math.round (num2) }; 


inferencelInterface.feedl("a", a, 1)); 


inferencelInterface.feed("b", b, 1); 
1nferencelinteriace.runlnew Stringlil{l ec 7 


nellle = "OT: 
inferenceInterface.fetch("c™, c}); 


final TextView textViewR = (TextView) findViewBylId{(R.id.txtViewResult); 
textViewR.setText (Integer.tostring(c[0])); 

} 

rie 

} 

catch (Exception ex) 

{ 

Toast .makeText (this.getApplicationContext(} ,ex.tostring(}), Toast.LENGTH 
LONG) .show () ; 


} 

在 上 面 的 代码 块 中 ， 注 册 了 一 个 事件 侦 听 器 ， 每 当 用 户 单 击 Run (运行 ) 按钮 时 ， 
该 侦 听 器 将 执行 推理 。 

8. 生成 并 运行 应 用 程序 

要 查看 结果 ， 请 连接 设备 并 运行 项 目 ， 它 将 显示 如 图 8-4 所 示 的 结果 。 

9. 部 署 模型 的 新 版 本 

Fritz 真正 强大 的 地 方 在 于 和 它 能 上 自动 下 载 修订 的 模型 文件 。 接 下 来 , 将 污 示 这 一 扣 。 

到 目前 为 止 ， 已 经 上 传 了 旧 的 (a +65) 模型 并 进行 了 推理 。 现 在 ， 将 其 更 新 为 (a + 5)， 
并 检查 应 用 程序 是 否 会 目 动 下 载 修改 后 的 模型 。 
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Ru 


Sample Fritz 


图 8-4 


为 此 ， 需 要 创建 (a+b) 模型。 首先， 需要 复习 本 书 第 4 章 “ 在 Android 中 使 用 
TensorFlow” 的 创建 和 保存 模型 部 分 ， 在 其 中 创建 了 (a ++b) 模型 ， 现在 可 以 进行 一 个 很 
小 的 更 改 以 转换 此 模型 。 


import tensorflow as tf 


a = tf.placeholder (tf.int32, name='a') # 输入 
b = tf.placeholder (tf.int32, name~"'Db") # 输入 
times = tf.Variablelname= times", dtvpe=ti.int32, initial walue=3)] 


C = tf.pow(tf.add{(a, b), times, name="c") 


saver = tf.train.Saverl() 
jnit op = tf.global wvariables jinitializer () 
with tf.Session(} as sess: 


sess.run(linit op) 


tf.train.write gqraphlsess.graph def, "sy "tfdroid.pbtxt) 
Sess.runl(tf.assign (name= tlmes value=3, ref=times)})) 
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# 保存 图 
# 保存 检查 点 文件 以 存储 上 面 的 赋值 


saver.save (sess, './tfdroid.ckpt"') 


@@ 注意 : 

在 上 面 的 程序 中 ， 所 做 的 唯一 更 改 是 对 times 变量 的 值 进 行 了 更 改 ， 该 值 现 在 为 3。 
这 将 导致 将 (a + b) 相 乘 3 次 ， 得 出 (a + b) 。 请 参阅 本 书 第 4 章 “ 在 Android 中 使 用 
TensorFlow”， 以 获取 有 关 如 何 运 行 和 生成 .pb 扩展 模型 文件 的 说 明 。 


一 旦 获得 了 Frozen _tfdroid.pb 文件 ， 就 可 以 从 模型 页 面 的 Fritz Web 控制 台 上 传 该 文 
件 ， 如 图 8-5 所 示 。 


二 屋 | 昌 hitps//app.iritz,.ay proects/ 919btaadl Ser dc22b1335d801c927215/models/Oded3B dAdeddcbedded0f2 4 
HE PirEsIGYUS 图 Gervice vs Factory - Effic iency Matters - Bi hrndroiw Tuicaial fo 羡 Eocokmarks mw Erngirearning Mind 


Custom Models > tfmodel 


ttmadel 


tfmldel 


Model Forma 
No TensorFlow hoblle 


各 SDRK INSTRUCTIONS 


Add Updated lodeal A 


Relesgse New Yersion Wf 


i 909PRM 


展开 Add Updated Model (添加 更 新 的 模型 ) 窗 格 并 上 传 生 成 的 模型 ， 它 将 作为 v2 
版 本 添加 在 右 侧 表 中 ， 如 图 8-6 所 示 。 
现在 , 己 经 上 传 了 该 模型 的 修订 版 , 但 尚未 发 布 。 为 此 , 需要 展开 Release New Version 
(发 布 新 版 本 ) 窗 格 并 友 布 所 需 的 版 本 。 
完成 此 操作 后 ， 安 装 了 应 用 程序 的 所 有 移动 设备 都 将 通过 Wi-Fi 网 络 与 互联 网 建立 
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Custom Models > tfmodel 


tfmodel | Version Hlename Updated at 


tfmldel 


Trozen trdroid pb LU 1 20 O20:50 pm 
Deploved Version 


1 [2 Trozen tftdrowd.pb AUDUSI 20th 2018, S23:06 pm 


Model Format 


TensorFlow Mobile 


-3 SDK INSTRUCTIONS 


Add Updated Model 


Release New Version 


图 8-6 
如 图 8-7 所 示 束 是 连接 到 Wi-Fi 路 由 锅 并 重新 局 动 应 用 程序 时 得 到 的 结果 。 
Ny Oued Bg 12:23 


Sample Fritz 
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8.2.2 使 用 Fritz 预制 模型 创建 Android 应 用 程序 


Fritz 为 10S 和 Android 提供 了 两 种 预 构建 的 模型 。 

口 “图 像 标记 。 

口 “对象 检测 。 

本 节 将 介绍 如 何在 Android 应 用 中 使 用 图 像 标 记 模 型 。 

要 执行 该 操作 ， 首 先 需 要 在 Fritz 中 创建 一 个 项 目 。 请 参考 第 8.2.1 节 “ 通 过 Fritz 使 
用 现 有 的 TensorFlow for mobile 模型 ”中 给 出 的 步骤 。 
现在 ， 打 开 Android Studio 并 使 用 活动 和 布局 文件 创建 一 个 空 项 目 。 
1. 向 项 目 添加 依赖 项 
为 了 访问 上 面 的 对 话 杠 中 显示 的 Fritz 解释 右 ， 需 要 回 项 目 深 加 依赖 项 。 要 执行 该 操 
请 打开 模块 应 用 程序 的 build.gradle 文件 。 
用 户 需 要 添加 一 个 指 同 Fritz Maven 存储 库 的 存储 库 条 目 ， 添 加 代码 如 下 。 


repositories { 


作 


“地 


maven { Url "https://raw.github.com/fritzlabs/fritz-repository/master™" 
} 
} 
现在 添加 以 下 Fritz 依赖 项 。 
dependencies | 
implementation fileTree(dir: “libs', include: ["'*.Jar" |) 
impPlementation "com.android.support:appcompat—v/i:26.1.0°" 
impPlementation ‘com.android.support.constraint:constraint—layout: 
0 
imPlementation ali.Tritz:core:1.0.1" 
impPlementation ‘ali.fritz:vision—label-model:1.0.1" 
} 
在 上 面 的 代码 行 中 ， 添 加 了 Fritz Core 库 和 Fritz Vision 库 进 行 标记 。Fritz Core 库 需 
要 与 Fritz 云 服务 器 通信 ， 以 便 下 载 模型 文件 进行 版 本 管理 。 
用 于 标记 的 Fritz Vision 库 将 下 载 所 需 的 库 , 例 如 TensorFlow 移动 版 和 Vision 依赖 项 。 
2. 在 Android 清单 中 注册 FritzJob 服务 


如 前 文 所 述 ， 当 应 用 程序 部 署 在 Fritz 云 服 务 器 中 时 , 它 将 下 载 模 型 文件 。 为 此 , Fritz 
实现 了 一 个 名 为 FritzJob 的 服务 。 该 服务 将 在 后 台 运 行 ， 当 它 发 现在 Web 控制 台中 部 署 
了 新 模型 时 ， 将 在 通过 Wi-Fi 网 络 连接 设备 时 尝试 下 载 该 模型 。 
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要 登录 云 账户 时 ， 应 用 程序 需要 一 些 任 据 ， 为 此 ，Fritz 提供 了 一 个 API 密 钥 。 我 们 
需要 同 Android 清单 XML 文件 中 添加 一 个 元 数据 (Meta-Data) 条 目 ， 如 下 所 示 。 
<meta—data 


android:name="fritz apl key”™ 
android:value="e35d2b5bbba84eca8969b7d6acaclfb7" /> 


单 击 SDK INSTRUCTIONS (SDK 用 法 说 明 ) 时， 需要 用 浏览 器 中 上 一 个 对 话 框 获 
得 的 Fritz API 密 钥 的 值 蔡 换 它 。 
我 们 需要 声明 Fritz 作业 ， 如 下 所 示 。 
<SeErLVIice 
android:name—"al.fritz.core.FritzJob" 


android:exported—"true"™ 
android:permission="android.permission.BIND JOB SERVICE"” /> 


由 于 应 用 程序 需要 通过 Wi-Fi 连接 到 云 服务 左 ， 因 此 还 需要 设置 互联 网 访问 权限 ， 
具体 如 下 所 示 。 


<UuSes-permission android:name="android.permission.INTERNET"/> 


<uses—-sdk android:minSdkVersion="21™ android:targetSdkVersion="21™ /> 

<uSes-feature android:name="android.hardware.camera2.full™ /> 

<UuSes-permission android:name="android.permission.CAMERA™" /> 

在 Android 中 ,相机 处 理 机 制 已 更 改 为 camera2 包 , 并 且 上 面 的 代码 行 指定 了 要 使 用 
的 camera2 功能 。 要 了 解 更 多 信息 ， 可 以 访问 以 下 地 址 。 


https://developer.android.com/reference/android/hardware/camera2/CameraCharacteristics 


#9INFO SUPPORTED HARDWARE LEVEL 


因此 ， 要 访问 相机 ， 还 需要 添加 相机 权限 。 
现在 ， 整 个 清单 文件 将 如 下 所 示 。 


<2Xml version="] .0" encoding—" utf 8"?2> 
<manifest xmlns:android="http://schemas.android.com/apk/res/android" 


package="com.example.avinaas.imagelabelling"> 


<USes-sdk android:minSsdkVersion="21™ android:targetSsdkVersion="2]1™ /> 
<UuUSes-feature android:name="android.hardware.camera2.full™" /> 
<uSes-permission android:name="android.permission.CAMERA™. /> 
<uSes-permission android:name="android.permission.INTERNET" /> 
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/> 


面 同 移动 设备 的 机 器 学 习 


<application 


android:allowBackup="true™ 
android:icon="@mipmap/ic launcher" 
android:1label="@string/app name" 
android:roundIcon="Q@mipmap/ic launcher round" 
android: supportsRtl="true"™ 
android:theme="@style/AppTheme"> 
<activity android:name=" .MainActijvity"> 

-JkEenL FilLEErE> 

<action android:name="android.intent.action.MAIN™ /> 


<Category android:name~="android.intent.category .LAUNCHER" 


</intent—filter> 
</activity> 
<meta—data 
android:name="Ifritz api key”™ 
android:value="e35d2b5bbba84eca8969b7d6acaclfb7™" /> 
<Service 
android:name="ai.fritz.core.FritzJob" 
android:exported="true”™ 
android:permission~="android.permission.BIND JOB SERVICE” /> 


</application> 


</manifest> 


3. 创建 应 用 程序 布局 和 组 件 
在 位 于 asset/layouts 文件 夹 的 activity main.xml 文件 中 ， 输 入 以 下 代码 。 


<2Xml version="1 .0" encoding=—="utf 8"?> 


<RelatijveLayout 


xmlns:android="http://schemas.android.com/apk/res/android" 
xmlns:tools="http://schemas.android.com/tools"™ 

android: layout width="match parent™" 

android: layout height="match parent™" 
tools:context="com.example.avinaas.imagelabelling.MainActivity"> 


<TextureVliew 


android:id="@+id/preview" 
android:lavout width="match parent™" 
android: layout height="wrap content™" 


android:layout above="@id/btn takepic" 
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android:layout alignParentTop="true"/> 


<Button 
android:id="@+id/btn takepic" 
android:1layout width="wrap content™ 
android:1layout height="wrap content”" 
android:1layout alignParentBRottom"true”™ 
android: lavyout centerHorizontal="true"™ 
android: layout marginBottom="16dp" 
android: layout marginTop="l1l6dp" 
android:text="Start Labeling™ 
/> 


</RelativeLayout> 
外 注意 : 
在 上 面 的 XML 工具 中 ， 上 下 文 值 需要 随 main 活动 而 变化 。 


在 上 面 的 XML 中 , 添加 了 一 个 用 于 接收 事件 的 按钮 和 一 个 纹理 视图 , 该 视图 用 作 相 
机 流 的 占 位 符 。 
上 面 布局 的 设计 视图 如 图 8-8 所 示 。 


imagelabelling 


ST 上 RT L&EBELINS 


。142 。 面 问 移动 设备 的 机 器 学 习 


4， 编 与 应 用 程序 代码 

该 应 用 程序 的 代码 可 以 在 本 书 GitHub 存储 库 中 找到 ， 其 网 址 如 下 。 

https://github.com/PacktPublishing/Machime-Learnine-for-Mobile/tree/master/Fritz/image 
labelling/imagelabelling 

下 载 代 码 之 后 ， 可 以 在 Android Studio 中 将 其 打开 ， 然 后 就 可 以 在 MainActivityjava 
中 找到 该 代码 。 

为 了 解释 整个 代码 ， 它 可 能 会 处 理 更 多 的 Android 代码 。 在 这 里 ,可 以 找到 重要 代码 
块 的 说 明 。 


Fritz.configqure (this.getApplicationcContext (})); 

oncreate 方法 中 的 上 一 行将 初始 化 Fritz 框架 。 

options = new FritzVisionLabelpPpredictorOptions.Builder() 
-ConfidenceThreshold (0 .3t) 
-Duild(}); 


上 面 的 代码 行将 为 标记 预测 变量 创建 配置 选项 。 


VisionPredictor = 
FritzVisionLabelPredictor.getIinstance (this.getApplicationContext ()}, 


options); 

创建 预测 变量 的 实例 。 

Bitmap bmp = BitmapFactory.decodeFile (file.getPath()}); 

将 图 像 保 存 到 文件 并 将 其 转换 为 位 图 。 

FritzVisijonImage img = FritzVisionlimage.fromBitmap (bmp); 

List<FritzVisionLabel> labels = visionPredictor.predict (img); 

将 位 图 图 像 转换 为 Fritz Vision 图 像 , 并 将 该 图 像 对 象 提供 给 预测 变量 的 predit 方法 ， 
该 方法 进而 将 预测 的 标签 作为 列表 返回 : 


String output=™";} 
for (FritzVisionLabel lab: labels) 
{ 


output = output + lab.getText (}+"™\t Confidence: "+ lab.getConfidence(); 
} 


if {output.trim() .length ()==0) 
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{ 
output = “Unable to predict.™; 

} 

Toast .makeText (MaijinActivity.this, output, Toast.LENGTH LONG) .show(}); 

当 预 测 变量 返回 Fritzvisionlabel 对 象 列 表 时 ， 需 要 对 其 进行 解码 并 将 其 显示 给 用 户 。 
上 面 的 代码 在 Toast 消 虫 中 同 用 户 显 示 了 内 容 和 可 信和 度 百 分 比 。 

一 旦 运行 该 应 用 程序 ， 从 相机 捕获 的 图 像 帆 将 显示 在 布局 中 创建 的 纹理 视图 中 。 

单 击 start labelling (开始 标 记 ) 按钮 之 后 ， 它 将 图 像 保存 到 磁盘 ， 并 将 相同 的 图 像 输 
入 到 Fritzvisionlabel 预测 嚣 中。 接收 到 预测 结果 之 后 ， 将 对 其 进行 解释 并 以 Toast 消息 的 
形式 同 用 户 显 示 。 

为 了 使 上 面 的 应 用 程序 正 稍 工作 ， 需 要 将 此 应 用 程序 添加 到 Fritz 项 目 中 。 

要 执行 该 操作 ， 请 在 Fritz Web 控制 台中 单 击 项 目 左 侧 荣 单 中 的 Project Settings〔 项 
目 充 直 ) 。 

然后 ， 单 击 Add android app to your project〈 添 加 Android 应 用 程序 到 你 的 项 目 ) ， 
这 将 打开 一 个 对 话 框 ， 如 图 8-9 所 示 。 


ADD FRITZ IO YOUR APP 


Register app 
Provide the name and Package ID to identify your app. 


App Name * 


PacKage ID * 


@ nstal soxk 


让 Initialize SDK 
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在 这 种 情况 下 , 用 户 需 要 为 目 己 的 应 用 程序 俞 名 ,以 供 识别 。 然 后 , 还 需要 从 Android 
清单 文件 中 获取 包 名 称 ， 再 在 Package ID 文本 字段 中 输入 该 名 称 。 
这 可 以 从 清单 文件 的 manifest 标签 中 获得 ， 如 下 所 示 。 


<2xml VerSslLon= 1-0” encoding= 1 圭一 和 ”2> 
<manifest xmlns:andqroid="http:// schemas .androidq-com/apk/res/Aandroidn" 
packaoge="com.example.avinaas.imagelabelling"> 


一 旦 注册 了 应 用 程序 ， 就 可 以 通过 将 Android 设备 连接 到 PC 并 局 用 USB 调试 选项 
来 运行 并 查看 结果 。 
确保 在 Android Studio 中 禁用 Instant run (即时 运行 ) 选项 ， 这 可 以 通过 文件 某 单 中 
成 功 运行 该 应 用 程序 后 ， 其 结果 将 如 图 8-10 所 示 。 
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8.2.3 在 使 用 Fritz 的 iOS 应 用 程序 中 使 用 现 有 的 Core ML 模型 


本 市 将 介绍 如 何在 使 用 Fritz 工具 包 的 1OS 移动 应 用 程序 中 使 用 现 有 的 Core ML 模 
型 。 我 们 将 采用 由 Core ML 创建 的 HousePricer.ml 模型 ， 该 模型 是 通过 Boston 数据 集 创 
建 的 ， 并 可 以 使 用 线性 回归 算法 执行 房价 预测 。 下 面 将 详细 说 明 实 现 此 目标 所 需 的 步 又 。 

请 从 以 下 位 置 下 载 GitHub 包 ， 它 包括 可 以 进行 房价 预测 的 线性 回归 示例 的 源 代码 。 

https://github.com/PacktPublishing/Machine-Learning-for-Mobile/tree/master/housine% 
20price%o20prediction/sample 


1. 在 Fritz 注册 
要 使 用 Fritz， 开 发 人 员 必 须 在 Fritz Web 门户 中 注册 一 个 账户 。 
(1) 转 到 https://fritz.ay。 
(2) 单 击 顶 部 菜单 上 的 Login (登录 ) 。 
(3) 单 击 Create an account( 创 建 账户 〉。 
(4) 输入 你 的 详细 信息 并 提交 。 
2. 在 Fritz 中 创建 一 个 新 项 目 
拥有 账户 后 ， 请 使 用 凭据 登录 并 执行 以 下 步 又 。 
(1) 单 击 Add new project〔( 添 加 新 项 目 ) 按钮 。 
(2) 输入 项 目 名 称 和 组 织 。 
(3) 单 击 Submit (提交 ) 。 
3. 上 传 模型 文件 
以 下 是 上 传 模型 文件 的 步骤 。 
(1) 单 击 左 侧 菜 单 中 的 Custom Models 〈 目 定义 模型 ) 。 
(2) 给 出 模型 名 称 和 描述 。 
(3) 上 传 模型 文件 (HousePricer.mlmodel) ， 该 模型 文件 是 在 本 书 第 5 章 “ 在 iOS 
中 使 用 Core ML 进行 回归 ”中 创建 第 一 个 线性 回归 程序 并 且 运 行 之 后 生成 的 。 
OO 注意 
开发 人 员 也 可 以 在 以 下 目录 中 找到 该 模型 文件 。 
https://eithub.com/PacktPublishing/Machine-Learning-for-Mobile/tree/master/housing% 
20price%20prediction/sample/sample 
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(4) 单 击 Create model file 〈 创 建 模 型 文件 ) 按钮 。 
上 传 后 ， 模 型 页 面 将 如 图 8-11 所 示 。 
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图 8-11 


4. 创建 一 个 Xcode 项 目 
现在 ， 在 Xcode 中 打开 下 载 的 项 目 ， 该 项 目 将 如 图 8-12 所 示 。 


v Ml sample 
HousePricer.mlmodel 
AppDelegate.switt 
ViewController.swift 
Main.storyboard 

1 Assets.xcassets 
Launchscreen,.storyboard 
Info.plist 

下 Products 


-A sample.app 


图 8-12 
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5. 安装 Fritz 依赖 项 

要 安装 Fritz 依赖 项 ， 请 从 Fritz 下 载 模型 的 pod 文件 。 为 此 ， 开 发 人 员 需 要 将 10S 
项 目 添加 到 Fritz 项 目 。 可 以 在 Fritz 控制 台 的 项 目 设置 页 面 中 执行 此 操作 。 

在 项 目 设 置 页 面 中 ， 单 击 Add an 1i0S project〈 添 加 一 个 10S 项 目 ) 按钮 。 然 后 ， 在 
打开 应 用 程序 时 ， 使 用 Xcode 中 显示 的 应 用 名 称 填写 对 话 杠 。 用 你 可 以 从 构建 设置 中 获 
得 的 捆绑 ID 填写 此 信息 ， 如 图 8-13 所 示 。 


vv lIdentity 


Display Name 
Bundle Identifier |-2345.HousePriceDetection 
Version | 1.0 


Bulld 1 


图 8-13 


现在 已 经 可 以 下 载 Fritz-info .plist 文件 了 。 将 此 文件 添加 到 Xcode 的 项 目 文件 夹 中 ， 
如 图 8-14 所 示 。 


Vv 回 sample 
vsample 
Eritz=Info.plist 
| HousePricer.mlmodel 
a| AppDelegate.swift 
a| ViewController.swift 
Main.storyboard 


| Assets, wcassets 


LaunchScreen.storyboard 


Info.plist 
i |Products 


rw sample.app 


图 8-14 
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在 此 之 后 ， 需 要 关闭 Xcode， 从 终端 导航 到 项 目 文件 来， 并 逐个 给 出 以 下 命令 。 

$ Pod init 

$ Pod 'Fritz' 

$ Pod install 

这 将 为 用 户 的 应 用 程序 创建 一 个 .xcworkspace 文件 , 此 文件 将 来 可 用 于 用 户 的 应 用 程 
序 的 所 有 开发 。 

现在 关闭 Xcode 应 用 程序 ， 并 使 用 此 文件 重新 打开 项 目 。 

6. 添加 代码 

在 Fritz 控制 台中 打开 模型 控制 台 。 它 有 一 个 SDK INSTRUCTIONS (SDK 用 法 说 明 ) 
按钮 ， 单 击 它 会 打开 一 个 对 话 框 ， 如 图 8-15 所 示 。 在 该 对 话 框 中 ， 可 以 使 用 显示 的 文件 
名 创建 一 个 新 文件 ， 并 在 其 中 粘贴 /编写 代码 。 


MODEL SETUP INSTRUCTIONS 


Below are the instructions for adding this model to your app. Connecting your model will enable tracking and 
model management. If you have net initialized the SOK, follow the directions in the documeaentation. 


SWIFT OBJECTIVE-G 


To track this model, create a file called HousePrlicer+Fritz.sWwitt in your project and add this code snippet. 


import Fritz 
extension HousePricer; SwiftIdentifiedModel { 
static let modelIdentifier = "28cd25a2bs86b41c8aftfa66s8176183abf" 


static let packagedModelVersion = 1 
static let session = Session(apikey: "e465d94194c94626884bd1l8e2f8b7829") 


} 


自 coPY 及 DowNLOAD 


Configuration 


图 8-15 
现在 ， 一 旦 添加 了 此 文件 ， 就 需要 打开 AppDelegate.swift 并 进行 以 下 修改 。 
口 添加 一 个 新 的 导入 。 
DD ”了 姓 入 Fritz。 
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口 在 应 用 程序 中 委托 类 。 

func application!( application : UIApPPplication, 
didFinishLaunchingWithoOptions launchOptions: 
[UIApplication.LauncgOptionsKey: Anyl|) 


蕉 换 以 前 的 方法 定义 ， 如 下 所 示 。 


func application{ application: UIApPPplication, 
didFinishLaunchingWithoOptions Launchoptions : 
[UIApplication.LaunchOptionsKey: Anyl]?) 

一 > Bool { 

FritzCore.confiqure(}) 

return 二 工人 全 


} 


7. 生成 并 运行 iOS 移动 应 用 程序 


与 构建 10S 移动 应 用 程序 的 方式 类 似 ， 可 以 在 模拟 占 中 构建 和 运行 项 目 ， 
图 8-16 所 示 。 
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图 8-16 
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8.3 小 结 


本 章 详细 介绍 了 Fritz。Fritz 是 一 个 使 开发 人 员 能 够 创建 机 器 学 习 应 用 程序 的 端 到 站 
平台 。 我 们 还 研究 了 预先 构建 的 机 器 学 习 模型 以 及 如 何在 Fritz 中 使 用 自 定义 模型 。 然后 ， 
探讨 了 如 何在 1O0S 的 Core ML 和 Android 中 实现 Fritz。 最 后 ， 使 用 Fritz 库 创 建 了 两 个 应 
用 程序 : 一 个 使 用 预 构建 的 Fritz 模型 ， 另 一 个 使 用 针对 1OS 的 Core ML 模型 。 在 第 9 章 
中 将 学 习 神 经 网 络 及 其 在 移动 应 用 程序 和 机 器 学 习 中 的 用 途 。 
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在 本 书 第 4 章 “ 在 Android 中 使 用 TensorFlow” 中 ， 当 介绍 TensorFlow 的 组 件 及 其 
工作 原理 时 ， 简 要 讨论 了 卷 积 神经 网 络 及 其 工作 原理 。 本 章 将 深入 研究 神经 网 络 的 基本 
昧 仿 。 我 们 将 详细 探讨 机 器 学 习 和 神经 网 络 之 间 的 相似 性 和 变异 性 。 

本 章 还 将 解决 在 移动 设备 上 执行 深度 学 习 算 法 的 一 些 挑战 。 我 们 将 简要 介绍 可 用 于 
直接 在 移动 设备 上 运行 的 移动 应 用 程序 的 各 种 深度 学 习 和 神经 网 络 SDK。 在 本 章 结束 时 ， 
我 们 将 完成 一 项 有 趣 的 任务 ， 该 任务 将 同时 使 用 TensorFlow 和 Core ML 。 

本 章 将 讨论 以 下 主题 。 
创建 TensorFlow 图 像 识 别 模型 。 

将 TensorFlow 模型 转换 为 Core ML 模型 。 
创建 利用 Core ML 模型 的 1OS 移动 应 用 程序 。 
Keras 简介 。 

创建 手写 数字 识别 解决 方案 。 

本 章 将 涉及 前 面 的 章节 讨论 过 的 所 有 主要 主题 ， 所 以 ， 在 继续 阅读 之 前 ， 请 确保 你 
己 经 理解 了 本 书 先前 所 有 章节 的 内 容 。 


DUDUDUDOD 


9.1 神经 网 络 介 绍 


神经 网 络 是 一 种 硬件 和 软件 系统 ， 该 系统 以 人 脑 中 神经 元 的 运行 为 模型 。 神 经 网 络 
背后 的 设计 受到 人 脑 及 其 功能 的 启发 , 所 以 有 必要 了 解 一 下 人 脑 的 构造 。 神 经 元 (Neuron) 
是 大 脑 的 基本 工作 单位 ， 它 是 一 种 可 以 将 信息 传递 给 其 他 神经 细胞 的 专门 细胞 。 大 脑 由 
大 约 100000000000 个 神经 元 组 成 。 神 经 元 的 主要 功能 是 处 理 和 传输 信息 。 


9.1.1 神经 元 的 通信 步 又 


神经 元 通信 遵循 以 下 4 个 步 又 。 

口 ”神经 元 从 外 部 环境 或 其 他 神经 元 接收 信息 。 

口 ”神经 元 整合 或 处 理 来 目 其 所 有 和 输入 的 信息 ， 并 人 确定 是 否 及 送 输出 全 号。 这 种 整 
合同 时 发 生 在 时 间 上 《和 输入 的 持续 时 间 ， 以 及 在 输入 之 间 的 时 间 ) 和 空间 上 (在 
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神经 元 的 表面 上 ) 。 
口 ”神经 元 沿 其 长 度 高 速 传送 信和 号。 
DD ”神经 元 可 以 将 此 电信 号 转换 为 化 学 信号 ， 然 后 将 其 传输 人 至 男 一 神经 元 或 请 如 肌 
肉 、 腺 体 。 


和 注意: 


要 更 好 地 了 解 神 经 元 (人 脑 的 基本 组 成 部 分 ) 如 何 工 作 ， 请 访问 以 下 网 址 。 
http://www.biologyreference.com/Mo-Nu/Neuron.html#1xzzSZD78t97u 
接 下 来 将 详细 了 解 神经 元 的 人 工 神 经 网 络 ， 这 些 神 经 元 的 功能 是 接受 一 些 输入 ， 并 
触 肥 输出。 
9.1.2 ”激活 函数 


可 以 很 明确 地 说 ， 神 经 元 是 一 个 占 位 符 图 数 (Placeholder Function)〉， 它 接受 输入 ， 
通过 在 输入 〈Input) 上 应 用 该 图 数 来 处 理 它 们 ， 并 产生 输出 〈Output) 。 任 何 简单 的 函 
数 都 可 以 放 在 已 定义 的 占 位 符 中 ， 如 图 9-1 所 示 。 


ImPut4 


Input3 


Output 
Input 2 


F(X, INnput}= Output 


Input 1 


图 9-1 


神经 元 中 使 用 的 函数 通常 称 为 沿 活 函数 (Activation Function) 。 在 人 体 中 存在 3 种 
类 型 的 神经 元 ， 感 觉 神经 元 、 运 动 神经 元 和 中 间 神经 元 。 在 人 工 智 能 世界 中 ， 激 活 函 数 
可 能 会 创建 神经 元 的 不 同 能 力 和 功能 。 

以 下 是 一 些 和 常用 的 激活 函数 。 

DD step。 

DD Sigmoid, 
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UD tanh 。 

DD ReLU-Rectitfied。 

口 Linear Unit (主要 用 于 深度 学 习 ) 。 

深入 研究 每 个 图 数 的 细节 超出 了 本 书 的 范围 。 但 是 ， 如 果 想 进一步 研究 神经 网 络 ， 
那么 理解 这 些 图 数 及 其 复杂 性 将 有 很 大 的 帮助 。 


9.1.3 和 神经 元 的 排列 
让 我 们 先 来 了 解 一 下 神经 元 在 人 体 中 的 排列 。 一 个 典型 的 神经 元 有 和 振 干 个 树 突 ， 通 
弟 以 分 文 方式 排列 ， 以 建立 与 许多 其 他 神经 元 的 接触 。 人 体 中 的 神经 元 也 分 层 排列 ， 这 


些 层 的 数量 在 映 体 和 大 脑 的 不 同 部 位 有 所 不 同 ， 但 退 弟 为 3~~6 层 。 
在 人 工 智 能 世界 中 ， 这 些 神 经 元 也 按 层 排列 。 图 9-2 将 有 助 于 理解 神经 元 的 组 织 。 


一 > 


hwb(X) 


Layer L: 


+1 


Layer Ll Layer L, 


图 9-2 


网 络 最 左边 的 层 称 为 输入 层 (Input Layer)， 最 右边 的 层 称 为 输出 层 (Output Layer) ， 
神经 元 的 中 间 层 称 为 隐藏 层 (Hidden Layer) ， 因 为 在 训练 集中 未 观察 到 其 值 。 

在 此 示例 神经 网 络 中 , 有 3 个 输入 、3 个 隐藏 单元 和 1 个 输出 单元 。 任 何 神经 网 络 将 
全 少 具 有 1 个 输入 层 和 1 个 输出 层 ， 隐 基层 的 数量 则 可 以 变化 。 

对 于 同一 网 络 ， 每 个 隐 蕊 层 中 使 用 的 激活 函数 可 以 不 同 ， 这 意味 看 在 同一 网 络 中 ， 
隐藏 层 1 有 1 个 激活 函数 ， 而 隐藏 层 2 又 有 另 1 个 b 激活 函数 。 
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9.1.4 神经 网 络 的 类 型 


神经 网 络 根据 隐藏 层 的 数量 和 每 层 中 使 用 的 激活 图 数 而 有 所 不 同 。 以 下 是 一 些 前 见 
的 神经 网 络 类 型 。 
深度 神经 网 络 (Deep Neural Network,，DNN) : 具有 多 个 隐 首 层 的 网 络 。 
卷 积 神经 网 络 (Convolutional Neural Network，CNN) : 通常 用 于 与 计算 机 视觉 
有 关 的 学 习 问 题 ，CNN 隐藏 层 使 用 卷 积 函数 作为 激活 函数 。 
口 递归 神经 网 络 (Recurrent Neural Network，RNN) : 第 用 于 与 自然 语言 处 理 有 关 
的 问题 。 
改善 移动 设备 中 的 神经 网 络 领域 的 当前 项 目 /研究 包括 。 
DD MoblleNet。 
DD MobileNet V2。 
口 MNasNet 一 一 在 移动 设备 中 实现 强化 学 习 。 


9.2 ”图像 识 别 解 决 方案 


UD 


想象 你 和 朋友 一 起 去 餐馆 ， 假 设 你 是 一 个 健身 狂 ， 尽 管 你 参加 聚会 来 享受 自助 餐 
但 作为 健身 狂 ， 你 是 一 个 卡路里 意识 很 绢 的 人 ， 不 想 摄 入 过 高 的 热量 。 

现在 ， 假 设 有 一 个 移动 应 用 程序 可 以 为 你 提供 帮助 ， 它 可 以 对 菜品 进行 招 照 ， 识 别 
其 成 分 ， 并 计算 食物 的 热量 。 你 可 以 对 每 道 淋 担 照 并 计算 其 热 什 ， 然 后 决定 是 否 将 其 放 
在 盘 了 于 上。 此外， 该 应 用 程序 会 继续 学 习 你 担 摄 的 各 种 菜 看 ， 并 继续 学 习 和 掌握 这 一 拉 
能 ， 以 便 可 以 很 好 地 保护 你 的 健康 。 

我 们 似乎 可 以 看 到 读者 眼中 办 动 的 感 兴趣 的 火化。 是 的 ， 这 束 是 要 在 本 章 中 笑 试 的 
移动 应 用 程序 。 我 们 还 希望 同时 使 用 TensorFlow 和 Core ML 来 完成 此 活动 。 要 创建 刚刚 
讨论 的 应 用 程序 ， 可 以 执行 以 下 步骤 。 

(1) 创建 TensorFlow 图 像 识 别 模型 。 
(2) 将 其 转换 为 .ml 模型 文件 。 
(3) 创建 一 个 OS/SWIFT 应 用 程序 以 使 用 该 模型 。 

接 下 来 将 详细 介绍 每 个 步骤 。 


9 创建 TensorFlow 图 像 识 别 模 型 


TensorFlow 是 一 个 开源 软件 库 ， 用 于 路 一 系列 任务 的 数据 流 编 程 。 它 是 一 个 符号 数 
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学 库 ， 还 用 于 机 器 学 习 应 用 程序 ， 例 如 神经 网 络 。 它 用 于 Google 的 研究 和 生产 ， 通 背 会 
蔡 代 其 封闭 源 代码 的 前 里 DistBelief。TensorFlow 由 Google Brain 团队 开发 ， 供 Google 
内 部 使 用 。 它 是 在 2015 年 11 月 9 日 根据 Apache 2.0 开源 许可 发 布 的 。 

TensorFlow 是 跨 平 台 的 ， 它 几乎 可 以 在 所 有 设备 上 运行 : GPU 和 CPU (包括 移动 和 
能 入 式 平 台 ) ， 甚 至 是 张 量 处 理 单元 〈Tensor Processing Units，TPU)， 它 们 是 执行 张 量 
数学 的 专用 便 件 。 


9.3.1 关于 TensorFlow 的 作用 


为 简单 起 抑 ， 假 设 你 需要 两 个 数字 。 现 在 ， 如 朱 要 使 用 第 规 编程 语言 《例如 Python ) 
编写 程序 ， 则 可 以 使 用 以 下 代码 。 


QQ 一] 
p=2 
print(a + b) 


如 果 运 行 该 程序 ， 则 输出 将 显示 为 3， 然 后 在 TensorFlow 上 将 看 到 相同 的 实现 。 
import tensorflow as tf 
二 芋 .constant (3 name="x") 
vy = tf.Variable{(x + D name= YY |) 
model = tf.global variables initializerl) 
with tf.Sesslion() as session: 
Session.run (model) 
Print (session.runl(y)) 
现在 ， 来 解释 一 下 上 面 的 代码 。 首 先 ， 创 建 一 个 节点 名 为 x 的 音量 ， 将 其 添加 5， 然 
后 将 其 存储 在 另 一 个 变量 /节点 yy 中。 如 果 此 时 可 以 看 到 y 控制 台 的 输出 ， 则 将 找到 该 节 
在 这 里 ,你 将 定义 图 的 节点 及 其 相应 的 操作 。 一旦 初始 化 
变量 并 创建 和 获取 图 的 会 话 /实例 后 ， 即 可 使 用 该 图 。 
图 9-3 将 有 助 于 你 理解 此 概念 。 
在 TensorFlow 中 ， 所 有 稼 量 、 占 位 符 和 变量 都 可 用 于 创 
建 定义 ,节点 之 则 的 链接 将 创建 一 个 图 ， 就 像 你 在 面 同 对 象 编 
程 中 的 类 概念 一 样 。 我 们 可 以 将 图 视 为 类 , 将 节点 视 为 数据 成 
员 , 将 给 globalvariableinitilizer() 视 为 调用 静态 方法 以 初始 化 沼 
量 和 变量 ， 将 session.rmun(0) 视 为 调用 类 的 构造 函数 。 
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9.3.2 ”重新 训练 模型 


要 创建 图 像 分 类 器 ， i J 大 量 编码 。 为 简单 起 见 ， 将 同 读者 展 
示 如 何 使 用 Google Code Lab 提供 的 代码 进行 图 像 分 类 器 的 创建 。 以 下 内 容 摘 自 Google 
的 代码 实验 室 教 程 。 

这 是 使 用 CNN 制作 的 。 对 所 有 这 些 进行 解释 超出 了 本 书 的 范围 。 在 本 章 前 面 的 介绍 
中 ， 简 要 解释 了 CNN,， 但 是 ， 与 神经 网 络 和 深度 学 习 的 知识 海洋 相 比 ， 这 只 是 沧海 一 栗 。 
有 兴趣 的 读者 可 以 访问 以 下 地 址 以 了 解 更 多 信息 。 


https://colah.oaithub.io0/posts/2014-07-Conv-Nets-Modular/ 


在 TensorFlow 中 创建 图 像 分 类 器 是 非常 容易 的 。 首 先 ， 需 要 安装 Anaconda (这 是 一 
个 很 方便 的 Python 包 管 理 和 环境 管理 软件 ) ， 然 后 运行 以 下 命令 。 


conda Create -n tensorflow pip Python=3.6 


运行 上 述 命 令 之 后 ， 将 出 现 如 图 9-4 所 示 的 提示 。 


BE CWINDOWS\system32\cmd.exe - conda create -n project pip python=3.6 
4 hzip2 —k noarch/repodata..json 
Soluing package specif ications: . 


Package plan for installation in environment D:“Users“ avinas“fppData“Local\condEe 
a"“conda“envs™“ project: 


The followinsg NE\W packages will be INSTALLED: 


certifi: 2018 .4.16—py36_ 届 

pip: i190.80.1—py36_9 

python: 3.6.5—hidcz2234d_ 里 
是 。 3 


setuptools: 39 .2.0—py 

UC : 1 4 一 hB51BFF6_3 
us2015_ runtime: 14.8.25123—3 
wheel: 和 .31.1—-py36_0 
wincertstore: .2—py36hrfeSAdca_a 


Proceed [yjA/n2?* 。 


图 9-4 


得 入 y 继 续 。 成 功 执行 命令 后 ， 将 看 到 如 图 9-5 所 示 的 屏 磋 。 
得 入 activate 项 目 ， 激 活 项 目 后 ， 将 看 到 如 下 提示 。 


(project) D:\Users\vavinas> 
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EN CWINDOWS\system32\cmd,exe 
The following NEW packages will be INSsTIALLED: 


Certifi: 20818 .4.16—py36_09 
pip: i180.0.1—py36_9 
python : 3.6.5—-hic2934d_0 
setuptools: 39.2.8—py36_0 

JC 14—-hBS1Aff6_ 3 
vs2015 runtime: 14.8.25123-—3 
wheel: .31.1—py36_08 
Wincertstore: .2—py3b6hrfeStca_y 


Proceed [yljA/n2? y 


To activate this environment, use: 
>» activate project 


» deactivate 


韶 

韶 

提 

持 

# To deactivate an active environment, use: 

持 

持 

靶 EoOF pOWEF—USers using bash, you must source 
站 


D:“\Users\vavinas» 


图 9-5 
然后 ， 输入 以 下 命令 。 
Pip install tensorflow 
使 用 以 下 命令 来 验证 已 安装 的 软件 包 。 
Pip list 
上 述 操作 必 产 生 如 图 9-6 所 示 的 结果 。 如 果 在 目 己 的 计算 机 中 看 不 到 茶 些 软件 包 ,， 则 
请 重新 安装 它们 。 


C\WINDOWS\system32\cmd.exe 


Ee 


《project> D:“Users“\vavinas?pip list 
Uers1ion 


Sr 日 
上 
a 


“和 
“加 
“ 


| 
nm 
L 
和 


加 加 Tr 


tensorf low 
EENmcCO Lo 
Werkzeug 
wheel 
wincertstore .2 


| 
国 国 于 于 于 于 | 


= 


‘DFOiect» DD:“Users™ avinas» 


图 9-6 
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现在 ， 己 经 成 功 安装 了 TensorFlow 及 其 依赖 项 。 让 我 们 从 Google Code Labs 获取 进 
行 分 类 的 代码 。 为 此 ， 请 确保 已 在 计算 机 上 安装 了 Git。 有 几 种 安装 方法 ， 但 最 简单 的 方 
法 是 通过 npm。 

要 检查 是 否 已 正确 安装 Git, 请 在 打开 的 命令 提示 人 符 下 输入 git, 将 看 到 该 命令 的 所 有 
可 用 选项 。 如 果 出 现 了 invalid command 之 类 的 提示 ， 则 请 尝试 正确 安装 。 现 在 可 以 执行 
以 下 命令 来 区 隆 存 储 库 。 


git clone https://github.com/googlecodelabs/tensorflow-for-poets-2 


完成 后 ， 可 以 使 用 以 下 命令 来 转 到 tensorflow-for-poets-2。 

cd tensorflow-for-poets-2 

该 文件 夹 包含 训练 图 像 识别 模型 所 需 的 所 有 脚本 。 如 条 此 时 检查 tf file 文件 来， 则 
可 以 友 现 它 为 空 。 接 下 来 ， 将 使 用 此 文件 夹 保留 训练 图 像 ， 并 使 用 scripts 文件 夹 中 的 脚 
本 来 训练 模型 。 

要 输入 图 像 ， 就 再 要 先 下 载 图 像 。 对 于 我 们 的 样本 ， 将 使 用 市 有 4 个 类 别 标签 的 食 
物 图 像 。 读 者 可 以 从 Git 存储 库 project/food_ photos 目录 下 载 它 ， 然 后 将 该 文件 夹 粘贴 到 
tf files 中 。 如 果 无 法 执行 此 命令 ， 则 可 以 在 Internet Explorer 浏览 器 中 打开 该 文件 来 ， 然 
后 下 载 tensorflow-for-poets-2/tf files 文件 。 

将 这 些 文件 解压 欠 ， 如 图 9-7 所 示 。 


GC b Avinash, Venkateswarlu (Consultant) b tensorflow-for-poets-2 » tf files bk food photos 上 


OQrganize ™ Include in library ™ Share with w New folder 


Katalon Studia 一 


曾 Links “可 

media | 2 a 、 
| My Documents 2 | | p 
WwW My Music 


carbonara cheeseburger meat loaf 


| My Pictures 
国 My Videos 


9-7 
接 下 来 就 可 以 使 用 脚本 重新 训练 模型 ， 请 执行 以 下 命令 。 


python —m scripts.retrain \ 
“Booleleneer dir EEEIleS/boLtl nok 
-how many training steps=500 、 
-model dir=tf files/models/ 、 
-—-summaries dir=tf files/training summaries/ mobilenet 0.50 224 \\ 
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至 网 络 


--Output graph=tf files/retrained graph.pb 、 
-—-output labels=tf files/retrained labels.txt AN 


architecture~mobilenet D0.50 224 


-—-image dir=tf files/food Photos 


轨 


I 


上 面 的 Python 脚本 可 用 于 重新 训练 模型 ， 


它 具 有 许多 参数 ， 但 是 在 这 里 将 仅 使 用 和 


讨论 一 些 重要 的 参数 ， 具 体 如 下 所 示 。 


加 
UD 


Do DO 


国 


bottleneck dir: 将 这 些 文件 保存 到 bottlenecks/ 目 录 。 

how many training steps: 这 个 数字 一 般 应 在 4000 以 下 。 更 大 的 数字 将 使 模型 
具有 更 高 的 准确 性 ， 但 构建 时 间 会 太 长 ， 并 且 模 型 文件 将 太 大 。 
model dir: 保存 模型 的 位 置 。 

summaries dir: 包含 训练 摘要 。 

output_graph: 在 何 处 保存 输出 图 。 这 是 将 在 移动 设备 中 使 用 的 结果 模型 。 

output labels: 这 是 保存 类 标签 的 文件 。 一 般 来 说 ,图 像 的 类 标签 是 文件 夹 名 称 。 
这 告诉 我 们 要 使 用 哪 一 种 体系 结构 。 在 这 里 ， 我 们 使 用 的 是 
Mobilenet 模型 ， 该 模型 的 相对 尺寸 为 0.50， 图 像 尺寸 为 244。 

image dir: 输入 图 片 目录 ， 本 例 为 food photos。 


architecture: 


执行 上 面 的 命令 之 后 ， 其 输出 如 图 9-8 所 示 。 


EY CWINDOWS\system32\cmd,exe 


IINFO:tensorf low:2018—0B6—21 1 
IINFO:tensorf low:20618—B6—21 
-N=160> 

IINFO:tensorf low:20818—B6—21 1 
IINFO:tensorf low:20818—B6—21 
IINFO:tensorf low:2018—B6—21 


-218886: 
-3407895: 


.2559908: 
-2505730: 
.33697278: 


Step 
Step 


: Cross entropy = @.16 105809 
I Ualidation accuracy = 88. 


: Train accuracy = 98 .0 
3 Cross entropy = 四 -二 59393459 
: Ualidation accuracy = 9. 


Step 
Stepn : 
Step 


CN=189> 


INFO:tensorf low:2018—@6—21 
IINFO:tensorf low:2018—H6—21 
IINFO: tensorf low:20818—086—21 


-286893: 
-286093: 
-了 394104: 


Step 
Step 
Step 


: Train accuracy = 1808 .0 
: Cross entropy = .85981908 
: Ualidation accuracy = 91 .日 


”<N=10@0> 


IINFO:tensorf low:2018-06—21 12:108:51 
INFU:tensort low: 2H18—WH6 :1 . : 
IINFO:tensorf low:2018—H6—z1 


.371202: 
-rl12te: 
-和 Ye 


Step 
心 盛 局 
各 七 已 卫 


: Train accuracy = 99 .日 : 
3 GEOSS ENtrFopDy = 日- pe 
: Ualidation accuracyuy $7 .9 


区 《全 = 并 四 加 > 


IINFO:tensorf low:20818—-06—21 
INFO:tensorf low:20198-—B6—21 
IINFO:tensorf low:20818—06—21 
N=160> 

IINFO:tensorf low:Final test accuracy = 
INFO:tensort low:Froze 2 varlables. 
Gonverted 2 variables to const ops. 


:02.3593006: Step 3 Train accuracy = 97.0x 
: Step 499: Cross entropy = a. G01 71> 
: Step : Ualidation accuracy 93.E 


2 N=664> 


project> D:“\Users “wavuinas“tensorf low-for-poets—2» 
project> D:“Users“ vavinas“tensorf low-for—poets—2» 


在 这 里 ， 我 们 将 
彼此 堆 倒 的 许多 层 组 成 。 这 些 层 已 乡 
当 所 有 先前 的 层 重新 训 乡 


图 9-8 


尝试 了 解 再 训练 过 程 的 工作 方式 。 我 们 正在 使 用 的 ImageNet 模型 
么 过 预 训练 ， 并 且 已 经 具有 足够 的 信息 ， ar 


:它们 已经 训练 好 的 状态 时 ， 我 们 尝试 要 做 的 就 是 训练 最 
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后 的 一 层 ， 即 final training ops。 
屏幕 截图 9-9 来 自 TensorBoard， 用 户 可 以 在 浏览 器 中 打开 TensorBoard 以 获得 更 好 


的 外 观 效果 。 在 Graphs (图 ) 选项 卡 中 可 以 找到 它 。 


accuracy train 
final_result 
中 activations cross_entropy 
a 区 0 
Dm 下 
final_training_ops | 
input 
i sr 
了 所 
softmax Bottlene... GroundTr... 
Sp 
a 
pool_3 
图 9-9 


在 图 9-9 中 ， 左 侧 的 softmax 节点 是 原始 模型 的 输出 层 。 在 训练 脚本 添加 了 softmax 
右 侧 的 所 有 节点 。 
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人 提示 
这 仅 在 重新 训练 肢 本 完成 生成 瓶颈 ( Bottleneck ) 文件 之 后 才 起 作用 。 
瓶颈 是 用 于 指 代 进行 分 类 的 最 终 和 输出 层 之 前 的 层 的 术语 。 请 注意 ，“ 扯 颈 ”的 意思 


在 输出 附近 ， 该 表示 方式 比 在 网 络 主体 中 更 简明 。 

每 幅 图 像 在 训练 期 间 会 重复 使 用 多 次 。 计 算 每 幅 图 像 瓶 贷 后 面 的 层 需要 大 量 时 间 。 
由 于 网 络 的 这 些 较 低层 未 被 修改 ， 因 此 它们 的 输出 可 以 缓存 和 重用 。 现 在 ， 已 经 掌握 了 
TensorFlow 重新 训练 过 的 模型 ， 接 下 来 可 以 使 用 以 下 命令 测试 刚刚 训练 的 模型 。 


python -下 scripts.1label image \ 


并 不 是 它 的 常规 仿 义 〈 即 它 会 减 慢 整个 过 程 》。 在 这 里 ， 使 用 术语 “ 订 贷 ”是 因为 它 束 


-graph=tf files/retrained graph.pb 
image=tf files\food photos\pizza\l.jpg 
执行 上 面 的 代码 块 将 为 用 户 提供 食物 图 像 所 属 的 类 。 现 在 ， 让 我 们 转 到 下 一 个 任务 : 
将 TensorFlow 模型 转换 为 Core ML 模型 格式 。 


9.3.3 将 TensorFlow 模型 转换 为 Core ML 模型 


TensorFlow 团队 开发 了 一 个 软件 包 ， 该 软件 包 用 于 将 在 TensorFlow 中 创建 的 模型 转 
换 为 Core ML， 该 模型 在 10S 应 用 中 使 用 。 要 使 用 此 函数 ， 必 须 具 有 安装 了 Python 3.6 
和 TensorFlow 的 MacOS。 使 用 此 工具 ， 可 以 将 TensorFlow 模型 文件 〈.pb) 转换 为 Core 
ML 格式 〈.mlmodel) 。 首 先 ， 需 要 执行 以 下 命令 。 


Pip install tfcoreml 


安装 完成 之 后 ， 在 Python 文件 中 编写 以 下 代码， 将 其 命名 为 inspect.py 并 保存 。 


import tensorflow as tf 

from tensorflow.core.framework limport graph pb2 
import 七 Ime 

import operator 


import SYS 


def inspect (model pb, output txt file): 
Graph def = graph pb2 -GraphpDet (| 
with open (model pb, "rb") as I: 
graph def .ParseFromstring (ft.read()})) 


tf.jmport graph def (graph def) 


全 过 大 


{1}" .format (i, op.name, op.type, "sr ".Join([x.name for x In op-Inpuats|) “ 
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Sess = tf.Session() 
DPS = Sess.graph.get operations'() 
aps dict = {|} 
SYS-Stdout = opent(output txt file, w') 


for i, op in enumerate (OPS}: 
PELinbl(' Ss 3 


print("{}: op name = { op type = ( {} ), inputs = {}, outputs = 


.Join([x.name for x jn op.outputs|]|)}))})) 


1 于 


print('@input shapes:") 
for x in op.inputs: 

print( name = {} : {1}".formatilx.name, xXx.get shape (}}))} 
print('loutput shapes:") 
for Xx in op.outputs: 

print{("name = {} : {}".format (x.name, xX.gqet shape(})})) 
i op.type jin ops dict: 

OPS dictlop:typel] 1+= 1 
三. 于 宇 = 


ops dictlop.type] = 1 


sorted ops count = sorted {ops dict.items (), key=operator.itemgetter (1)) 
Brint("QPS countis:")} 
for 1i in sorted ops count: 

Printt"{} : {}" .format (i[0l,. 1i1[1]1}) 


name —— 2 1 


将 冻结 的 TF 图 的 摘要 写 入 一 个 文本 文件 
摘要 包括 操作 的 名 称 、 类 型 、 输 入 和 输出 名 称 以 及 形状 


- 冻结 的 .pb 图 的 路 径 
- 摘要 所 写 入 的 输出 .txt 文件 的 路 径 


用 法 
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Python inspect pb.py frozen.pb text file.txt 


if len(sys.argv) != 3: 
ralise ValueError( Script expects two arouments. ”+ 
"Usage: Python inspect pb.py /path/to/the/frozen.pb 
/path/to/the/output/text/file.txt") 
inspect (SYS .argv|[ll|]j, sys.argv|2]) 


上 述 代码 将 模型 文件 作为 输入 和 参数， 并 将 所 有 操作 以 及 市 有 摘 述 的 输入 /输出 节 点 名 
称 保存 在 我 们 提供 作为 输入 的 文本 文件 中 。 要 运行 此 命令 ， 请 输入 以 下 命令 。 


Python inspect.py retrained graph.pb summeries.txt 


在 此 命令 中 ， 将 执行 之 前 保存 的 inspect.py 代码 ， 这 还 将 输入 从 9.3.2 节 获 得 的 图 文 
件 ， 以 及 要 在 其 中 保存 摘要 的 文本 文件 的 路 径 。 

在 执行 此 命令 之 后 ， 将 创建 带 有 所 有 摘要 的 summeries.txt， 如 图 9-10 所 示 ， 这 些 摘 
要 都 将 被 添加 到 文本 文件 中 。 


6 op name = import/final training ops/biases/final biases, op type = ( Const )，inputs = ，Outputs = import/final trainie 
@linput shapes: 

@output shnapes: 

name = import/final_ training ops/biases/final biases:@ : (5,) 


1: op name = import/final training ops/biases/final biases/read, op type = ( Identity }), inputs = imoort/final training op 
@input shapes: 

name = limport/final training ops/biases/final biases:@ : (5,) 

@output shapes: 

name = import/final training ops/biases/final biases/read:@ : (5,) 


2: op name = import/final training ops/weights/final weights, op type = ( Const ), inputs = , outputs = import/final_train 
@input shapes: 

@output shapes: 

name = lmport/final training ops/welghts/final welilqghts:@ : (] 


3: op name = import/final training ops/weights/final weights/read, op type = ( Identity })}, inputs = import/final training ， 
@@input shapes: 

name = import/final training ops/welghts/final weioghts:@ : (1801 5) 

@output shapes: 

name = lmport/Tinal training ops/welghts/Tinal welghts/read:g : 


用 


4 op name = import/input, op type = ( Placeholder )，inputs = ， outputs = import/input:® 
BInput shapes: 

@output shapes: 

name = 


= type ( Const })}: inputs = ， GuUtputs = import/MobilenetVl/Conv2d 6/we 
@input shapes: 
@output shapes: 
name = import/MobilenetV1l/Conv2d @/weights:@ : I 


色 9-10 


在 此 文件 中 ， 可 以 查看 到 所 有 操作 (op) 、 输 入 和 输出 名 称 及 其 形状 ， 还 可 以 看 到 
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整体 操作 符 ， 如 图 9-11 所 示 。 


Ups counts: 

Placeholder : 1] 

AvgPool : 1 

BiasAdd : 1 

Squeeze : 1 

Reshape : 1 
PlaceholderWithDefault : 
MatMyul s 1 

Softmax : 1 
DepthwiseConv2oNatiVve : 
ConvaD : 15 


Identity : 140 
Const : 1 


图 9-11 
在 文件 末尾 将 找到 结束 节点 的 定义 ， 在 本 示例 中 将 如 图 9-12 所 示 。 


559 op name = import/final_ result, op type = ( Softmax }, inputs = import/final training ops/Wx_plus_ b/add:@, outputs = import/final_ result:® 
吕 input shapess 
name = import/final training_ops/Wx_plus_b/add:@ : (7?, 


Boutput shapes: 
name = limport/ftinal resuyult:s@ s (7 


图 9-12 


在 这 里 ， 可 以 看 到 结束 节点 操作 类 型 为 Softmax， 它 产生 的 输出 将 存储 在 final result:0 
名 称 中 。 现 在 可 以 看 到 如 图 9-13 所 示 的 代码 块 , 该 代码 块 可 用 于 生成 相应 的 Core ML 模型 。 
i | tf converter 


tf converter.convert! retrained_graph.pb’ 
converted.mLlmodel 


= ['final result:0°] 
= ,Input:@ 
retralned laDels.txt 


图 9-13 


让 我 们 详细 了 解 一 下 上 面 的 代码 块 。 必 须 注意 到 ， 在 第 一 行 中 导入 了 tfcoreml 软件 
包 ， 然 后 使 用 其 convert 函数 ， 以 下 是 其 参数 。 
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口 {tf model path: 在 前 文 (将 TensorFlow 模型 转换 为 Core ML 模型 ) 中 生成 的 (.pb) 
文件 的 路 径 。 

口 mlmodel path: 要 在 其 中 生成 模型 的 输出 模型 文件 的 路 径 。 

口 ”output feature names: 在 这 种 情况 下 ， 将 获得 从 模型 检查 代码 生成 的 上 一 个 文 
本 文件 中 获得 的 输出 变量 名 称 。 

UD image mput names: 要 为 图 像 输 入 指定 的 名 称 。 在 Core ML/iOS 中 ， 这 将 是 图 
像 绥 冲 区 。 

口 class labels: 这 是 将 在 训练 步骤 中 获得 的 文件 。 

运行 上 面 的 代码 之 后 ， 将 在 目录 中 看 到 生成 的 convertmlmodel 文件 。 可 以 将 其 导入 

Xcode 项 目 中 并 加 以 利用 。 


9.3.4 编 与 iOS 移动 应 用 程序 


本 节 将 创建 一 个 应 用 程序 ， 以 利用 创建 的 图 像 识别 模型 来 使 用 10S 移动 设备 上 的 相 
机 预测 图 像 。 

首先 ， 需 要 一 台 运 行 Xcode 9+ 版 本 的 Mac PC， 从 Git 存储 库 下 载 源 代码 (x 代码 项 
目 〉)， 然 后 导航 到 项 目 文 件 来， 在 Xcode 中 打开 identification.xcodeproj 图 像 。 图 9-14 显 
示 了 项 目的 文件 夹 结构 。 


白 回 品 Ga 


下 包 ImageRecognitionCoreML 


ImageRecognitionCoreML 

em conwverted.mlmodel 

% pizza.png 

| AppDelegate.swift 

= ViewController.swift 

» burger.jpg 

Meatloaf.png 

» Pasta.jpg 
Main.storyboard 

| Assets.xcassets 
LaunchSscreen.storyboard 
Info.plist 

=» UllmagetAdditions.switt 


Products 


图 9-14 


。166。 面向 移动 设备 的 机 器 学 习 


要 查看 的 主要 文件 是 controller.swift， 它 包含 以 下 代码 。 


import UIKit 

Class ViewController: UlIViewController { 
@IBOutlet weak var picturelmageView :UIImageViewl! 
QIBOutlet weak var titleLabel :UIlLabell! 


这 些 是 Main.storyboard 上 的 图 像 视图 控件 和 标题 标签 控件 的 出 口 。 


Private var model : converted = converted ( ) 


以 下 是 添加 9.3.3 市 中 创建 的 core-ml 文件 时 生成 的 模型 的 实例 。 


Var content : [ String : String ] = [ 

"cheeseburger" : "A cheeseburger is a hamburger topped with cheese. 
Traditionally, the slice of cheese 1s placed on top of the meat patty, but 
the burger can include many variations in structure, ingredients, and 
composition.\nIt has 303 calories Per 100 gqrams.", 

"carbonara" : "Carbonara 1s an ltalian pasta dish from Rome made 
with egg, hard cheese, guanciale, and pepper. The recipe 1s not fixed by a 
specific type of hard cheese or pasta. The cheese 1s usually Pecorino 
Romano.™", 

"meat loaf" : "Meatloaf is a dish of ground meat mixed with other 
ingredients and formed into a loaf shape, then baked or smoked. The shape 
1IS created by either cooking it In a loaf pan, or forming it by hand on a 
flat pan.\nIt has 149 calories / 100 grams", 

"pizza : "Pizza 1IS a traditional Italian dish consisting of a 
Yeasted flatbread typically topped with tomato sauce and cheese and baked 
in am oven. It can also be topped with additional vegetables, meats, and 
condiments, and can be made without cheese.\nIt has 285 calories / 100 
grams" 

| 
我 们 对 内 容 进行 了 硬 编码 ， 以 显示 在 训练 的 相应 类 标签 的 标题 标签 中 。 
let jmages = ["burger.Jpg","Plizza.png", "Pasta.Jpg","meatloaf.png"l] 


这 些 是 添加 到 项 目 中 的 图 像 ， 它 们 将 作为 预测 应 用 程序 的 输入 。 


var index = 0 


override func viewDidLoad() ({ 
super .viewDidLoad() 
nextImage () 
} 
@IBAction func nextButtonPressed() 1{ 
nextImage () 
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} 
func nextImage() { 
defer { index = index < images.count - 1 ? index + 1 :0 } 
Jet filename = ljmages[index] 
guard let img = UIImage (named: filename) else { 
self.titleLabel .text = "Failed to load image \ (filename)" 
return 
} 
self.picturelmageView.1image = img 
let resizedImage = img.resizeTol(size: CGSize (width: 224, height: 
224)) 
guard let buffer = resizedlmage.toBuffer() else 1{ 
self.titleLabel .text = "Faliled to make buffer from image 
\ (filename)" 
return 


} 


当 使 用 224 像素 图 像 训 练 模型 时 ， 还 将 调整 输入 图 像 的 大 小 并 将 其 转换 为 图 像 缓冲 
区 ， 我 们 希望 将 其 提供 给 预测 方法 。 
do { 


let prediction = try self.model .prediction (input: 
MymodelInput (input 0: buffer)) 


在 这 里 ， 将 输入 图 像 并 获得 预测 结果 。 
if _ content .keys .Contalns (prediction.classLabel) | 
self.titleLabel.text = content[prediction.classLabell] 
} 


else 


{ 
self.titleLabel.text = prediction.classLabel:; 
} 


在 上 面 的 代码 中 ， 将 根据 类 标签 向 用 户 显示 内 容 。 


} catch let error { 
self.titleLabel .text = error.localizedDescription 


| 


这 样 就 完成 了 应 用 程序 的 创建 。 现 在 ， 可 以 执行 该 应 用 程序 以 查找 图 像 作为 输出 ， 
如 图 9-15 所 示 。 
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单 击 Next 碍 找 下 一 张 图 片 ， 如 图 9-16 所 示 。 


Carrier 写 


A cheeseburger Is a hamburger topped with Meatloaf Is a dish of ground meat mixed with 
Cheese. Traditionally the slice of cheese is other ingredients and formed into a loaf shape, 
placed on top of the meat patty, but the burger then baked or smoked. The shape is created by 
can include many variations in structure, either cooking it in a loaf pan, or forming It by 
ingredients, and composition， hand on a flat pan. 
lt has 303 calories per 100 grams. lt has 149 calories / 100 grams 


9-15 9-16 
9.4 手写 数字 识别 解决 方案 


第 9.3 节 创 建 了 一 个 应 用 程序 ， 该 程序 使 用 了 针对 移动 设备 的 TensorFlow 模型 ， 使 
我 们 对 神经 网 络 图 像 识 列 功 能 的 实现 有 了 更 深入 的 认识 。 现 在 ， 我 们 将 创建 另 一 个 应 用 
程序 ， 该 应 用 程序 使 用 神经 网 络 和 Keras 进行 手写 数字 图 像 识 别 。 在 第 9.5 节 一 第 9.7 节 
中 ,将 为 使 用 Keras 的 移动 设备 上 的 手写 数字 识别 解决 方案 创建 一 个 应 用 程序 。 人 然后 ,将 
把 这 个 Keras 模型 转换 成 Core ML 模型 ， 并 用 它 来 构建 1OS 移动 应 用 程序 。 接 下 来 先 认 
识 一 下 Keras。 
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9.5 关于 Keras 


Keras 是 用 Python 编写 的 高 级 神经 网 络 API， 能 够 在 TensorFlow、CNTK 或 Theano 
之 上 运行 。 它 的 开发 旨 在 允许 快速 实验 。 

以 下 是 Keras 的 一 些 关 键 用 途 。 

口 允许 轻松 快速 地 进行 原型 制作 (具有 用 户 友 好 、 模 块 化 和 可 扩展 性 等 特点 )。 

口 支持 卷 积 网 络 和 递归 网 络 ， 以 及 两 者 的 组 合 。 

口 在 CPU 和 GPU 上 无 颖 运行 。 

Keras 的 设计 章 循 以 下 原则 。 


口 用 户 友好 。 
口 ”模块 化 。 
口 多 十 扩展 。 


吕 与 Python 阅 容 。 
要 了 解 有 关 Keras 的 更 多 信息 ， 请 访问 以 下 网 址 。 


https://keras.10/ 


96 安 荫 Keras 


如 前 文 所 述 , Keras 没有 目 己 的 后 端 系 统 。 由 于 它 运行 在 TensorFlow、CNTK 或 Theano 
之 上 ， 因 此 需要 安装 其 中 之 一 ， 建 议 使 用 TensorFlow。 
我 们 需要 在 pip 包 管 理 器 的 帮助 下 安装 h5Spy 库 ， 以 便 将 Keras 模型 保存 到 磁盘 。 


P1IP install tensorflow 
Pip install keras 
pip install hopy 


上 面 的 命令 将 安装 模型 的 基本 必需 库 ， 接 下 来 将 创建 模型 。 
9.7 求解 问题 


在 本 节 中 将 看 到 神经 网 络 的 实际 实现 。 我 们 将 定义 问题 陈述 ， 袋 后 将 了 解 要 用 于 求 
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解 问题 的 数据 集 ， 随 后 将 在 Keras 中 创建 模型 以 解决 该 问题 。 
在 Keras 中 创建 模型 后 ， 会 将 其 转换 为 与 Core ML 兼容 的 模型 。 该 Core ML 模型 将 
被 导入 10S 应 用 程序 中 ， 并 且 将 编写 一 个 程序 来 使 用 该 模型 并 解释 手写 数字 。 


9.7.1 定义 问题 陈述 


我 们 将 通过 在 10S 移动 应 用 程序 中 实现 的 机 器 学 习 模 型 来 解决 识别 手写 数字 的 问题 。 
第 一 步 是 拥有 可 用 于 模型 训练 和 测试 的 手写 数字 数据 库 。 

MNIST 数字 数据 集 (http://yann.lecun.com/exdb/mnist/) 提供 了 一 个 手写 数字 数据 库 ， 
它 拥 有 具有 60000 个 示例 的 训练 集 和 10000 个 示例 的 测试 集 。 它 是 MNIST 可 用 的 较 大 集 
合 的 子 集 。 这 些 数字 已 经 进行 了 大 小 归 一 化 ， 并 在 固定 尺寸 的 图 像 中 居中 。 对 于 那些 想 
学 习 真 实数 据 的 技术 和 模式 识别 方法 而 叉 无 法 伦 太 多 精力 进行 预 处 理 和 格式 化 的 人 们 来 
说 ， 这 是 一 个 很 好 的 数据 库 。 

在 解决 此 问题 之 前 ， 有 必要 伦 一 些 时 间 来 理解 问题 ， 以 了 解 神经 网 络 可 以 在 哪些 方 
面 提 供 帮 助 。 我 们 可 以 将 识别 手 与 数字 的 问题 分 为 两 个 子 问题 。 假 定 得 到 一 个 手 与 的 数 


[S76 


图 9-17 


首先 ， 需 要 将 包含 多 个 数字 的 图 像 分 解 为 一 系列 单独 的 图 像 ， 每 个 图 像 都 包含 一 个 
数字 。 例 如 ， 可 以 将 上 面 的 示例 图 像 分 解 为 7 个 单独 的 图 像 ， 如 图 9-18 所 示 。 


S71206 


图 9-18 


对 于 人 类 来 说 ， 数 字 可 以 很 容易 地 分 开 ， 但是， 对 于 机 器 来 说 ， 完 成 这 一 简单 的 任 
务 是 非常 困难 的 。 数 字 分 开 后 ， 程 序 需要 对 每 个 数字 进行 分 类 。 例 如 ， 我 们 希望 程序 认 
识 到 第 一 个 数字 是 5。 

现在 ， 尝 试 着 重 于 问题 的 第 二 部 分 : 识别 各 个 数字 并 对 其 进行 分 类 。 我 们 将 使 用 神 
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经 网 络 来 解决 识别 单个 手写 数 子 的 问题 。 

我 们 可 以 使 用 3 层 神经 网 络 来 解决 此 问题 ， 其 中 输出 层 具 有 10 个 神经 元 。 输 入 层 和 
隐藏 层 是 进行 处 理 的 地 方 。 在 输出 层 中 ， 基 于 激发 的 神经 元 ， 可 以 轻松 推 炳 出 被 识别 的 
数字 。 神 经 元 0 一 9 各 目标 识 一 个 数字 。 


9.7.2 ”问题 方案 


问题 解决 方案 包括 以 下 关键 步 又。 

(1) 准备 数据 。 

(2) 定义 模型 。 

(3) 训练 和 拟 合 模型 。 

(4) 将 训练 过 的 Keras 模型 转换 为 Core ML 模型 。 

(5) 编写 iOS 移动 应 用 程序 。 

现在 ， 让 我 们 一 步 一 步 地 进行 操作 ， 看 一 看 在 每 个 步骤 中 需要 做 什么 。 

1. 准备 数据 

第 一 项 活动 是 数据 准备 。 首 先 需 要 导入 所 有 必需 的 库 ， 如 前 所 述 ， 将 使 用 MNIST 数 
据 库 作 为 手写 数字 数据 集 。 

from future import print functijion 

From matplotlib more pyBlot as Blt 


import keras 


from keras.datasets import mnist 
mnist 是 包含 手写 数字 数据 库 的 数据 集 ， 因 此 需要 将 其 导入 ， 如 下 所 示 。 

from keras.models import Sequential 

上 面 的 代码 从 Keras 导入 了 Sequential 模型 类 型 。 以 下 是 神经 网 络 层 的 线性 堆栈 。 
from keras.layers import Dense, Dropout, Flatten 

现在 需要 从 Keras 导入 核心 层 。 这 些 是 几乎 所 有 神经 网 络 都 会 使 用 的 层 。 


from keras.layers import Conv2D, MaxPooling2D 


从 Keras 导入 CNN 层 。 这 些 卷 积 层 将 帮助 有 效 地 训练 图 像 数 据 。 


from keras.utils import np utils 


导入 utils。 这 将 有 助 于 稍 后 进行 数据 转换 。 
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from keras import backend as K 


import coremltools 


coremltools 有 助 于 将 Keras 模型 转换 为 Core ML 模型 。 


(x trainy train), (x val,y val)= mnist.load data() 
将 预先 混合 的 MNIST 数据 加 载 到 训练 和 测试 集中 。 
# 检查 x 数据 


print('"'x train Shape: ', X train.shape) 
print (x train.shapel0l, ‘training samples') 
print('"x val Shape: ', Xx val.shape) 

print (x val.shapel0|], ‘validation samples'") 


print('First x sample\n', x train[0]) 


如 果 运 行 上 面 的 代码 ， 那 么 它 将 显示 X、Y 的 形状 以 及 X 的 第 一 条 记录 ， 其 结果 如 
图 9-19 所 示 。 


conv.py [D:\Users\vavinash\PycharmProjects\mlfacedettection\Scrnipts\python,.exe] 
Using TensorFlow backend. 
WARNING: root:TensorFlow version 1.12.6 detected. Last version known to be fully ce 
keras version 
x train shape: (68686880, 28, 28) 
586888 training samples 
x val shape: (18888, 28, 28) 
18888 validation samples 
First x sample 
是 帅 里 他 
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9-19 
我 们 的 训练 集中 有 60000 个 样本 ， 每 个 图 像 均 为 28 像素 X28 像素 ， 可 以 通过 在 
matplotlib 中 绘制 第 一 个 样本 来 确认 这 一 点 。 
plt.imshow (x train[0]) 
该 语句 将 使 用 matplotlib 库 绘制 x train 的 第 一 条 记录 ， 该 记录 将 提供 如 图 9-20 所 示 
的 输出 结果 。 


第 9 章 移动 设备 上 的 神经 网 络 。173 。 
是 Figure 1 ee Ee 4 ” Th 证 c=| 届 = 届 | a 


省 |》 中 QQ 三 


图 9-20 
以 下 代码 行将 打印 y_train 形状 和 y train 中 的 前 10 个 元 素 。 


PIInt( Y train Shape: ”， VY train.shape) 
print(' First 10 vy train elements: rr Y train[l:10])} 


以 下 代码 将 找到 图 像 的 输入 形状 。MNIST 图 像 数据 值 是 [0, 255] 范围 内 的 uint8 类 
型 的 值 ， 但 是 Keras 需要 [0, 1] 范围 内 float32 类 型 的 值 。 


jmg rows: limg cols = x train.shape[lll, x train.shapel2] 


mm Classes = 10 


# 为 channel 二 人 或 channel = ast 设置 input shape 


if K.image data format() == "channels fijirst": 

x train = x train.reshape (x train.shapel[l0], 1l, img rows,: img cols) 

X Val = XxX val.reshape (x val.shapel[l0], 1l, img rows, img Cols) 

jnput shape = (1l, img rows, img cols) 

二 守 二 
x train = XxX train.reshape (x train.shapel0|], img rows,: img cols, 1) 
x val = XxX val.reshape (x val.shapel0|], img rows, img cols, 1) 


linput shape = (1Img rows, img cols, 1) 
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print('x train shape:', XxX train.shape) 
# x train 形状 : (60000, 28, 28, 1) 
printt('x val shape:y, X val.shape) 

# x _ val 形状 : (O0000; 28, 28, 1) 


print(' input shape: r input shape) 


使 用 以 下 代码 ， 将 数据 类 型 转换 为 与 Keras 中 定义 的 数据 类 型 兼容 。 


x train = XxX train.astype( float32") 
x Val = x val.astype( float32°") 

0 

x val /= 255 


现在 ,在 y 中 具有 60000 个 一 维 元 素 ， 接 下 来 需要 将 其 转换 为 60000x10 的 数组 ， 如 
下 所 示 。 


y train = np utils.to categoricall(ly 七 alnr num classes) 
yY Val = np utils.to categoricall(ly val, num classes) 
print('New Y train shape: rr YY train.shape) 

# (60000,， 10) 

print( New YY train shape: rr VY train.shape) 

# (60000， 10) 


print('First 10 y train elements, reshaped:\n', Yy train[:10]) 


现在 ，y_train 看 起 来 如 图 9-21 所 示 。 
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图 9-21 
在 上 和 面 的 数组 中 可 以 发 现 ， 对 于 数字 存在 来 说 ， 对 应 的 位 置 将 填充 1， 所 有 其 他 位 置 
将 填充 0。 例 如 ， 对 于 第 一 条 记录 ， 可 以 理解 预测 的 数字 为 5， 因为 第 6 个 位 置 填充 为 1 
(从 0 开始 ， 所 以 第 6 个 位 置 为 5) 。 
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数据 准备 工作 已 经 完成 ， 接 下 来 需要 定义 模型 的 架构 。 
2. 定义 模型 的 架构 
数据 准备 完成 后 ， 下 一 步 是 定义 模型 并 创建 它 ， 因 此 现在 可 以 创建 模型 。 


model m = SeEGUentl al 1 ) 


上 面 的 代码 行将 创建 一 个 顺序 〈Sequential) 模型 ， 该 模型 将 按 顺 序 排列 各 层 。 有 两 
种 方法 可 以 构建 Keras 模型 : 顺序 和 功能 。 
口 顺序 API: 这 使 我 们 能 够 逐 层 创建 模型 。 在 这 种 情况 下 ， 创 建 的 模型 将 无 法 共 
至 层 或 具有 多 个 输入 或 输出 。 
口 “功能 API: 这 使 我 们 创建 的 模型 可 以 不 止 一 个 层 ， 并 且 可 以 具有 复杂 的 连接 一 一 
可 以 从 任何 层 实 际 连 接 到 任何 其 他 层 。 


model m.add (Conv2D{(32, (5, 5), input shape=(1,28,28), actijvation="relu")})) 


输入 的 形状 参数 应 为 样本 1 的 形状 ， 在 这 种 情况 下 ， 它 等 同 于 (1, 28, 28)， 对 应 于 每 
个 数字 图 像 的 (深度 , 宽度 , 局 度 )。 

但 是 ， 其 他 参数 代表 什么 呢 ? 它 们 分 别 对 应 于 要 使 用 的 知 积 过 滤器 的 数量 、 每 个 若 
积 内 核 中 的 行 数 和 每 个 苍 积 内 核 中 的 列 数 。 


model m.add (MaxPooling2D(pool size = (2,2))) 


MaxPooling2D 是 一 种 减少 模型 中 参数 数量 的 方法 ， 它 可 以 在 上 一 层 中 滑动 一 个 2x2 
的 池 化 核 ， 并 在 2x2 池 化 核 中 获取 4 个 值 中 的 最 大 值 ， 以 此 来 减少 模型 中 参数 的 数量 。 


model m.add (Dropout (0 ->) ) 
这 是 一 种 用 于 规范 化 模型 以 防止 过 度 拟 合 的 方法 。 


model m.add (Conv2D(64, (3, 3), activation="relu’')) 
model m.add (MaxPooling2D(pool size= (2, 2))) 

model m.add (Dropout (0 .2)) 

model m.add (Conv2D(l128, (1l, 1), actijvation="relu’')) 
model m.add (MaxPooling2D(pool size= (2, 2))) 

model m.add (Dropout (0 .2)) 

model] m.add (Flatten()) 

model m.add (Dense (128, actjivatjon="relu")})) 

model m.add (Dense (num classes, activation="'softmax"')) 
print(model m.summary ()) 


一 旦 运行 了 上 面 的 代码 行 ， 那么 这 些 层 的 模型 架构 的 名 称 将 被 打印 输出 在 控制 台中 ， 
如 图 9-22 所 示 。 
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Layer (type) Out| ] Param 大 


conv2d 1 (Conv2D) / (None, 
max pooling2d 1 (MaxPooling2 (None, 
dropout 1 (Dropout) (None, 
conv2d 2 (Conv2D) (None, 
max pooling2d 2 (MaxPooling2 (None, 
dropout 2 (Dropout) (None, 
conv2d 3 (Conv2D) (None, 
max pooling2d 3 (MaxPoolineg2 (None, 
dropout 3 (Dropout) (None, 
flatten 1 (Flatten) (None, 
dense 1 (Dense) (None, 
dense 2 (Dense) 

Total params: 94,682 


Trainable params: 94,682 
Non-trainable params: 8 


图 9-22 
3. 编译 和 拟 合 模型 
下 一 步 是 编译 和 训练 模型 。 我 们 将 通过 一 系列 达 代 使 模型 进入 训练 阶段 ， 时 
期 (Epoch) 确定 训练 阶段 要 在 模型 上 进行 的 迭代 次 数 ， 权 重 将 传递 到 模型 中 定义 的 层 ， 
设 定 民 好 的 时 期 数 将 提供 更 高 的 正确 率 和 最 小 的 损失 ， 在 这 里 ， 将 使 用 10 个 时 期 。 
Keras 具有 一 个 回调 (Callback) 机 制 , 该 回调 机 制 将 在 模型 的 每 次 训练 达 代 期 间 ( 即 
每 个 时 期 的 末尾 ) 调用 。 在 回调 方法 中 ， 将 保存 该 时 期 的 计算 权重 。 
calloacksIlise = | 
keras.callbacks.ModelCheckpoint ( 
filepath="'best model.{epoch:02d}-—{val loss: .2f} .hoy", 


monjtor="'val loss', save best only=True), 
keras.callbacks .EarlySsStopping (monitor="'acc', patience=1)| 


现在 ， 使 用 以 下 代码 编译 模型 。 
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model meCEompllLelLeoss= 王 categorical crossentropy roptImnzeIT= aaam ， 

metrics=["accuracy | ) 

categorical crossentropy 损失 函数 将 测量 卷 积 神经 网 络 计 算 的 概率 分 布 与 标签 的 真实 
分 布 之 间 的 距离 。 

optimizer 是 随机 梯度 下 降 算 法 (Stochastic Gradient Descent Algorithm) ， 它 通过 以 正 
确 的 速度 跟随 梯度 来 尝试 使 损失 函数 最 小 化 ,accuracy 为 正确 分 类 的 图 像 的 比例 一 一 这 是 
在 训练 和 测试 过 程 中 监视 的 最 常见 指标 。 

# 超 参数 

Bakehesinee 2 

epochs = 10 

现在 ， 使 用 以 下 代码 拟 合 模型 。 

# 允许 验证 以 使 用 ModeLcheckpoint 和 EarlvStopping 

callbacks.model m.ftit( 

x trainy Y train, batch size=batch size, epochs=epochs, 
callbacks=callbacks list, vwvalidation data=(x val, yy val), verbose=]1) 
程序 完成 执行 之 后 ,将 在 运行 目录 中 找到 有 具有 best_model.01-0.15.h$ 名 称 的 文件 。 这 

说 明了 est model.{epoch number}-{loss value}.h5。 
这 是 为 给 定数 据 集 创建 和 训练 的 Keras 模型 。 
4. 将 Keras 模型 转换 为 Core ML 模型 


现在 已 经 创建 了 Keras 模型 ， 下 一 步 是 将 Keras 模型 转换 为 Core ML 模型 。 对 于 第 
一 个 参数 ， 请 使 用 notebook 文件 夹 中 最 新 的 .hs 文件 的 文件 名 。 
1 本 让 由 本 本 


coreml mnist = coremltools.converters.keras.convertl 


ee model.10-0.04.ho", input names=|[ "image'" |], 
output names=[ oOuLput | ， class labels=output labels, 
image jinput names="image') 
coreml mist.save( minsit classifier.mlmodel") 
成 功 运行 代码 之 后 ,将 在 目录 中 找到 minsit classifer.mlmodel 文件 。 我 们 将 使 用 它 来 
创建 一 个 10S 移动 应 用 程序 以 检测 数字 。 
5. 创建 iOS 移动 应 用 


现在 可 以 来 创建 1OS 应 用 。 可 以 从 Packt GitHub 存储 库 的 ImageClassificationwith- 
VisionandCoreML 文件 来 中 下 载 该 代码 。 
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在 Xcode 9+ 中 打开 项 目 ， 该 项 目 结 构 如 图 9-23 所 示 。 


Vv 9 Vision+ML Example 
三 | README.md 
和 Vision+ML Example 
=| AppDelegate.swift 
ViewController.swift 
Utilities. swift 
MNISTCIassifiermlmodel 
Main.storyboard 


| Assets.xcassets 


-| Info.plist 


LaunchScreen.storyboard 
bp Products 
Configuration 
sampleCode.xcconfig 
v LICENSE 
LIGCENSE .txt 


图 9-23 


如 果 在 设计 器 中 打开 main.storyboard， 则 可 以 看 到 如 图 9-24 所 示 的 用 户 界 面 。 
这 里 的 大 多 数 代码 部 是 常见 的 10S 代码 。 来 看 以 下 代码 段 ， 它 是 我 们 特别 感 兴趣 的 ， 
其 中 包括 手写 数字 预测 代码 。 


lazy Var ClassificationRequest: VNCoreMLRequest = | 
// 通过 其 生成 的 类 加 载 机 器 学 习 模 型 ， 并 为 其 创建 Vision 请 求 
do I 
Jet model = try VNCoreMLModel (for: MNISTClassijfier() .model) 
return VNCoreMLRequest (model: model, completionHandler: 
self.handleClassification)} 
1} catch 1 


fatalError{("can't load Vision ML model: \ (error)}") 


I 
func handleClassification(request: VNRequest, error: Error2) 1 
guard let observations = request.results as? 
[VNClassificationObservat1ion | 
else { fatalError("unexpected result type from 
VNCoreMLRequest™) | 
guard let best = observations.first 
else { fatalError("can't Get best result™) } 
DispatchQueue.main.async I 


self.classificationLabel .text = "Classification: 
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"tbest.identifier}\™”" Confidence: \(best.confidence}™ 
} 
| 


它 在 故 部 包含 两 个 按钮 ， 一 个 用 于 从 移动 设备 中 选择 图 像 ， 男 一 个 用 于 拍摄 快照 。 
请 注意 ， 如 果 是 在 模拟 器 中 运行 相机 ， 则 相机 将 无 法 正常 工作 。 

可 以 在 模拟 器 中 构建 和 运行 该 应 用 程序 。 应 用 程序 在 模拟 絮 中 成 功 打 开 后 ， 将 手写 
数字 6 的 图 像 抑 动 到 模拟 占 的 文件 夹 示 例 图 像 中 一 一 这 会 将 文件 保存 在 模拟 器 的 内 存 中 。 

返回 应 用 程序 ， 选 择 保存 在 设备 内 存 中 刚刚 拖 入 的 图 像 ， 它 将 显示 为 如 图 9-25 所 示 
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9.8 小 3 


本 章 详 细 介 绍 了 神经 网 络 的 概念 及 其 在 面 同 移动 设备 的 机 器 学 习 领 域 的 应 用 。 创 建 
了 一 个 应 用 程序 ， 用 于 使 用 TensorFlow 识别 图 像 ( 同 时 也 提供 了 在 10S 和 Xcode 中 使 用 
Core ML 的 解决 方案 ) 。 我 们 还 探索 了 Keras 深度 学 习 框 架 ， 和 尝试 使 用 Keras 中 的 神经 网 
络 解决 手写 数字 识别 问题 。 建立 了 Keras 机 器 学 习 模 型 来 解决 这 个 问题 。 然后 , 使 用 Core 
ML 转换 工具 将 此 模型 转换 为 Core ML 模型 。 最 后 ， 本 章 还 在 10S 移动 应 用 程序 中 使 用 
了 此 Core ML 模型 来 执行 手写 数字 识别 。 

第 10 章 将 介绍 如 何在 Android 中 使 用 Google Cloud Vision 标签 检测 技术 。 


第 10 章 使 用 Google Cloud 
Vision 的 移动 应 用 程序 


正如 在 本 书 第 1 章 “ 面 网 移动 设备 的 机 器 学 习 应 用 程序 ”中 所 介绍 的 ， 面 问 移 动 设 
备 的 应 用 程序 中 的 机 器 学 习 既 可 以 在 设备 上 和 实现， 也 可 以 使 用 机 器 学 习 云 提供 丙 的 服务 


来 实现 。 


U 


现 有 的 机 器 学 习 云 提供 商 包 括 以 下 内 容 。 
Clarifai。 
Google Cloud Vision。 


Microsoft Azure Coegnitive Services。 
IBM Watson 。 


Amazon Machine Learning。 


本 章 将 深入 研究 Google Cloud Vision， 以 理解 以 下 内 容 。 


U 
UD 


Google Cloud Vision 的 功能 。 

如 何在 Android Mobile 应 用 程序 中 利用 Google Cloud Vision 标签 检测 技术 来 确 
定 相 机 拍摄 的 照片 。 也 就 是 说 ， 可 以 将 一 幅 图 像 输 入 到 Google Cloud Vision 中 ， 
并 答 看 它 如 何 标记 该 图 像 。Google Vision 将 预测 它 从 移动 应 用 程序 接收 到 的 图 
像 并 为 其 提供 标签 。 


10.1 关于 Google Cloud Vision 的 功能 


Google Cloud Vision API 包 舍 各 种 复杂 且 功 能 强大 的 机 器 学 习 模 型 , 可 帮助 执行 图 像 
分 析 。 它 使 用 易于 使 用 的 REST API 将 图 像 分 类 为 各 种 类 别 。 Google Cloud Vision 提供 的 
重要 功能 包括 以 下 方面 。 


UU 


U 


加 


标签 检测 (Label Detection) : 这 使 我 们 能 够 将 图 像 分 类 为 数 干 个 类 别 ， 可 以 将 
图 像 分 类 为 各 种 常见 的 类 别 标签 ， 例 如 Animal (动物 ) 和 Fruit (水 果 ) 。 

像 属 性 检测 (Image Attribute Detection) : 这 使 我 们 能 够 检测 图 像 中 的 单个 对 
象 ， 它 还 可 以 检测 诸如 突出 颜色 之 类 的 属性 。 

人 脸 检测 (Face Detection) : 这 使 我 们 能 够 从 图 像 中 检测 出 人 脸 。 如 果 图 像 中 
有 多 个 人 脸 ， 则 还 可 以 分 别 检测 每 个 人 脸 。 它 还 可 以 检测 与 脸 部 相关 的 突出 属 
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性 ， 例如 戴 头 备 或 帽子 。 
口 徽标 检测 (Logo Detection) : 这 使 我 们 能 够 榨 测 图 像 中 的 印刷 文字 。 突 出 的 征 
标 经 过 训练 也 可 以 被 检测 到 。 


从 而 可 以 通过 Google Vision 进行 检测 。 
口 ”光学 字符 识别 (Optical Character Recognition，OCR) : 这 有 助 于 检测 图 像 中 的 
文本 ， 即 使 它们 不 是 英语 也 是 如 此 。 它 支持 多 种 语言 。 
口 “” 显 式 内 容 检测 (Explicit Content Detection) : 这 有 助 于 识别 内 容 的 类 型 或 内 容 的 
青 感 ， 例 如 Violent (暴力 ) 或 Humorous (幽默 ) 。 它 使 我 们 能 够 利用 可 构建 的 
元 数据 信息 对 图 像 进行 情感 分 析 (Sentiment Analysis) 。 
DQ 搜索 网 络 (Search Web) : 这 会 在 网 络 上 搜索 类 似 的 图 片 。 
可 以 通过 调用 谷歌 提供 的 简单 RESTful API 来 使 用 Google Cloud Vision 提供 的 所 有 
这 些 功能 。 但 是 ， 这 些 功 能 的 使 用 都 需要 付费 ， 也 可 以 使 用 功能 的 组 合 。 其 定价 详细 信 
居 可 以 在 Google Cloud Vision 网 站 上 找到 。 


https:/cloud.google.comyVvlislomny/ 


10.2 使 用 Google Cloud Vision 的 示例 移动 应 用 程 厅 


本 节 将 尝试 使 用 Google Cloud Vision 的 示例 Android 移动 应 用 程序 。 我 们 将 从 移动 
设备 的 相机 捕获 图 像 ， 然 后 将 图 像 上 传 到 Google Cloud Vision, 再 查看 它 对 图 像 内 容 的 预 
剖 | 0 这 将 使 用 Google Cloud Vision 的 标签 检测 功 能 ” 该 功 能 可 以 确 定 上 格 图 像 的 标签 站 


10.2.1 标签 检测 的 工作 原理 


Vision API 可 以 路 广泛 的 类 别 检测 并 提取 有 天 图 像 中 实体 的 信息 。 标 俭 可 以 识别 对 
象 、 位 置 、 活 动 、 动 物种 类 、 产 品 等 。 标 签 仅 以 英文 返回 。 

在 请 求 API 中 ， 可 以 发 送 需要 确定 标签 的 图 像 以 及 打算 使 用 的 Google Vision 功能 。 
该 功能 可 以 是 第 10.1 节 “ 关 于 Google Cloud Vision 的 功能 ”中 列 出 的 任何 功能 ， 例 如 标 
俭 检测 或 徽标 检测 。 如 果 需 要 与 图 像 一 起 及 送 有 关 图 像 的 上 下 文 ， 则 可 以 将 其 作为 附加 
参数 发 送 。 以 下 是 请 求 APIJSON 格式 示例 。 


“image™: 1 
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object (Image) // 需要 被 处 理 的 图 像 
} ， 
ss = 
{ 
object (Feature) // 需要 调用 的 Google Vision 功能 
} 
], 
"1mageContext™: I 
object (ImageContext) // 必要 时 可 提供 有 关 图 像 的 上 下 文 
} ， 


} 


图 像 对 象 可 以 是 base 64 编码 的 字符 串 ， 也 可 以 是 需要 分 析 的 图 像 的 URL。 该 URL 
可 以 是 Google Cloud Storage 图 像 位 置 ， 也 可 以 是 可 公开 访问 的 图 像 URL。 
对 于 该 请 求 的 啊 应 将 是 基于 所 请 求 功 能 的 注解 (Annotation) 列表 。 在 我 们 的 示例 中 ， 
它 将 是 标签 注解 。 
{ 
"labelAnnotations™: | 
{ 
object (EntityAnnotation) 
} 
] F 
人 下 下 人 TFT 1 oblecLlsSstatns) 
} F 
} 
返回 的 EntityAnnotation 对 象 将 包含 图 像 的 标签 、 预 测 分 数 和 其 他 有 用 的 信息 。 所 有 
与 输入 图 像 对 象 匹配 的 标签 都 将 作为 市 有 预测 得 分 的 数组 列表 返回 ， 基 于 该 得 分 可 以 执 
行 应 用 程序 所 需 的 推理 。 
在 理解 了 标签 检测 的 基本 原理 之 后 ， 接 下 来 将 开始 创建 Android 应 用 程序 。 


10.2.2 ”先决 条 件 


要 开始 探索 Google Vision 并 使 用 Google Vision 公开 的 服务 编写 程序 , 需要 具备 以 下 
先决 条 件 ， 这 样 才能 进入 实际 操作 。 

口 ”Google Cloud Platform 账户 。 

口 ”Google Cloud Console 上 的 项 目 。 

口 最 新 版 本 的 Android Studio。 

口 运行 Android 5.0 或 更 高 版 本 的 手机 。 
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10.2.3 准备 工作 


在 开始 使 用 Google Cloud Vision API 之 前 ， 需 要 执行 以 下 准备 工作 。 
(1) 应 该 在 Google Cloud Console 中 局 用 Google Cloud Vision API, 并 且 应 该 创建 将 
在 移动 应 用 程序 代码 中 使 用 的 API 密 铀 。 请 执行 以 下 步骤 以 获取 Cloud Vision API 密 钥 。 
CO 打开 cloud.google.comy/vision 。 
G) 转 到 Console〈 控 制 台 ) 。 如 果 没 有 试用 账 尸 ， 那 么 它 将 要 求 用 户 创 建 一 个 并 完 
(3) 局 用 结算 功能 ， 将 获得 $300 的 免费 赠送 金额 。 拥 有 账户 后 ， 即 可 转 到 控制 人 台 并 
在 控制 台中 ， 创 建 一 个 项 目 。 
(5) 打开 该 项 目 ， 转 到 API services (API 服务 ) |Library search for cloud vision API (Cloud 
Vision API 库 搜 索 ) 。 
(6) 单 击 并 局 用 它 。 
C@) 转 到 API Services (API 服务 ) | Credentials 〈 赁 据 ) 。 
(8) 转 到 Credentials (凭据 ) | APIKey (API 密 钥 ) 。 
创建 API 密 钥 。 
复制 该 API 密 钥 ， 它 在 移动 应 用 程序 代码 中 会 用 到 。 

(2) 在 移动 客户 疹 应 用 程序 中 添加 所 需 的 依赖 项 以 使 用 Google Cloud Vision API。 
Google API 客户 问 是 必需 的 ， 因 此 需要 将 其 添加 到 客户 疹 项 目 中 。 这 些 将 需要 在 Gradle 
构建 文件 中 指定 。 具 有 关键 依赖 性 的 示例 Gradle 文件 如 下 所 示 。 

dependencies | 

Somilie fileTreelinclude=s | ar Or es 

testcompile "Junit:jJunit:4.12" 

compile ‘com.android.support:appcompat—v/i:21.0.2" 

comile ‘com.android.support:design:21.0.2" 

compile "com..google.api—client:gqoogle—api~client—android:1 .23.0" 

exclude module: "httpclient’ 

compile ‘com.google.http—client:google-—http—client—-gson:1.23.0" 

exclude module: ‘httpclient’ 

compPile ‘com.google.apis:google—api—~sServices—viSsSion:vil— 

SS 
} 
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10.2.4 理解 应 用 


本 节 将 仔细 得 看 源 代 码 的 关键 流程 ， 以 了 解 Google Vision API 如 何 通过 Android 移 
动 应 用 程序 工作 。 

Vision 类 代表 适用 于 Cloud Vision 的 Google API 客户 病 。 第 一 步 是 初始 化 Vision 类 ， 
这 可 以 通过 Builder 进行 ， 并 为 其 指定 传输 机 制 和 要 使 用 的 JSON Factory。 

Vision.Builder builder = new Vision.Bulilder (httpTransport, JsonFactoryr 

Tu :> 

下 一 步 是 将 API 密 钥 分 配给 Vision Builder， 以 便 它 可 以 开始 与 云 API 进行 交互 。 我 
们 创建 的 密 钥 如 下 所 示 : 

VisionRequestIinitializer requestInitializer = new 

VisionRequestInitializer(CLOUD VISION API KEY) 

builder.setVisionRequestinitializer (regqguestinitializer};: 

最 后 一 步 是 获取 Vision 实例 ， 通 过 该 实例 可 以 调用 云 API。 


Vision vision = builder.build(}; 


现在 ， 我 们 将 捕获 图 片 并 将 该 图 片 友 送 到 云 API 以 检测 其 标签 。 通 过 相机 捕获 图 片 
的 代码 是 Android 常用 的 东西 。 以 下 代码 提 供 了 有 关 如 何 将 图 像 转 换 为 用 于 标 合 检测 的 
Vision 请 求 的 详细 信息 。 


BatchAnnotatelImagesRequest batchAnnotatelImagesRequest = new 
BatchAnnotatelImagesRequest (); 


batchAnnotatelIlmagesRequest.setRequests (new 
ArrayList<AnnotatelmageRegquest>() {{ AnnotatelmageRegquest 


annotatelImageRequest = new AnnotateImageRequest ();，; 
// 添加 图 像 
Image base64EncodedlImage = new Image () 


// 将 位 图 转换 为 JPEG 格式 

// 防止 出 现 Andaroid 可 以 理解 但 Cloud Vision 不 支持 的 格式 

ByteArrayOutputSstream byteArrayOutputSstream = new ByteArrayOutputstream(); 
bitmap.compress (Bitmap.CompressFormat .JPEG, 3930, byteArrayOutputSstream)}); 
byte[|] imageBytes = byteArrayOutputSsStream.toByteArray(); 

// Base64 编码 JPEG 

base64EncodedImage.encodeContent (lilimageBytes}); 
annotatelmageRequest .setImage (base64EncodedImage) ， 
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// 添加 需要 的 功能 


annotatelmageRequest.setFeatures (new ArrayList<Feature>() {1 
Feature labelDetection = new Feature (); 
labelDetection.setType ("LABEL DETECTION™); 
labelDetection.setMaxResults (MAX LABEL RESULTS}; 

add (labelDetection); 

}}); 

// 将 一 件 事 的 列表 添加 到 请 求 中 

add (annotatelImageRequest); 

}1); 

Vision.Images.Annotate annotateRequest = 
Vision.images() .annotate (batchAnnotatelmagesRequest),; 


Google Cloud Vision 被 称 为 异步 任务 (Async Task) 。 从 API 接收 到 的 啊 应 将 被 分 析 
以 提供 用 户 可 读 格式 的 数据 。 以 下 是 从 Google Vision 收 到 的 啊 应 信息 示例 。 
// 设置 响应 格式 为 字符 串 


private static String convertResponseToString (BatchAnnotateImagesResponse 
response) 1 

StringBuilder message = new StringBuilder ("I found these things:\n\n"™); 
List<EntityAnnotatijon> labels = 
response.getResponses(} .get (0} .getLabelAnnotations () : 

1 {labels {= null) 1 

for {EntityAnnotation label : labels) | 

message.append (String.format (Locale.US, "$%.3f: Ss", 
Jabel.getScore(}),1label .getDescription()})}); 

message.append (™M\n"™);} 

} 

} else 1{ 

message.append("nothing™); 

} 

return message.toString(); 

} 

用 户 可 以 查看 为 图 像 返回 的 标签 。 

10.2.5 输出 


当 手 机 中 的 图 像 被 捕获 并 发 送 到 Vision API 时 ， 即 可 在 Android 应 用 程序 屏幕 上 看 
到 结果 ， 可 能 的 标签 如 图 10-1 所 示 。 
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BB 相国 对 5 1:14 PM 


CloudVision 


| found these things: 


0.791: technology 
0.707: electronic device 
0.693: gadget 

0.667: product design 
0.578: multimedia 
0.554: angle 

0.513: product 


图 10-1 
10.3 小 结 


本 章 详细 阐述 了 Google Cloud Vision 的 工作 原理 ， 以 及 如 何 轻松 地 从 移动 应 用 程序 
中 调用 它 。 可 以 看 到 ， 在 使 用 机 器 学 习 云 服务 提供 商 的 云 服 务 的 情况 下 ， 进 行 复 淋 的 机 
器 学 习 预 测 非 党 容易 ， 也 没有 进行 模型 选择 和 训练 的 麻烦 。 第 11 章 将 认真 探讨 移动 应 用 
领域 中 机 器 学 习 的 未 来 。 
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机 器 学 习 需 要 强大 的 计算 能 力 ， 因 此 需要 专门 的 处 理 器 。 但 是 ， 如 果 可 以 将 机 器 学 
习 的 功能 带 给 缺乏 这 种 处 理 能 力 并 且 可 以 离线 工作 的 移动 设备 ， 则 将 会 涌现 巨大 的 市 场 
机 会 和 全 新 的 业务 类 别 ， 并 由 此 催生 出 众多 创新 实用 的 移动 应 用 程序 ， 人 否则 这 是 很 难 想 
象 的 。 在 这 种 情况 下 ， 客 户 和 企业 之 间 相 互联 系 的 整体 方式 都 将 被 重 塑 。 

如 今 ， 移 动 设备 已 成 为 人 类 的 延伸 器 官 ， 我 们 甚至 很 难 找到 一 个 没有 手机 的 人 。 如 
果 移 动 设备 将 成 为 人 类 的 一 部 分 ， 那 么 就 像 眼 睛 、 曙 子 、 双 腿 等 知道 我 们 每 天 做 什么 ， 
并 习惯 了 我 们 的 生活 方式 一 样 ， 移 动 设 备 也 可 以 了 解 我 们 日 常 工作 的 来 龙 去 脉 ， 并 可 以 
带 出 许多 关键 数据 点 ， 而 我 们 可 能 没有 时 间 分 析 上 自己 。 

此 外 ， 移 动 设备 可 能 由 不 同 的 企业 在 其 上 安装 了 很 多 应 用 程序 ， 以 使 第 三 方 可 以 轻 
松 地 深入 了 解 我 们 的 生活 方式 、 生 活 模式 和 深层 秘密 ， 并 根据 收集 到 的 关键 指标 采取 许 
多 不 同 的 措施 。 这 有 可 能 不 仅 使 这 些 第 三 方 受益 ， 而 且 也 可 能 使 用 户 自 己 受 益 。 他 们 可 
以 尝试 让 用 户 意识 到 自己 对 自己 一 无 所 知 的 事情 , 或 者 提出 更 好 的 方法 来 执行 某 些 活动 ， 
从 而 从 整体 上 改善 用 户 的 生活 。 这 种 可 能 性 是 无 限 的 ， 它 也 让 用 户 可 以 展开 想象 ， 设 想 
如 何在 移动 设备 上 实现 机 器 学 习 以 及 它 的 美好 未 来 。 

我 们 还 看 到 了 物 联网 (Internet of Things，IoT) 的 爆炸 式 增长 。 这 是 另 一 个 维度 ， 在 
这 个 维度 中 ， 移 动 设备 中 的 机 器 学 习 成 为 关键 。 可 以 将 不 间断 友 送 不 同 信 息 的 传感器 相 
互联 系 ， 而 不 是 一 直 发 送 到 服务 器 。 

可 以 使 用 不 同 的 协议 在 传感器 和 移动 设备 之 间 进 行 通信 以 进行 此 类 数据 交换 ， 并 且 
可 以 迅速 采取 及 时 的 措施 。 而 且 ， 在 该 技术 领域 潜 减 看 无 数 的 可 能 性 ， 并 且 正 在 发 生 突 
破 性 的 创新 ， 而 这 仅仅 是 冰山 一 角 。 

本 章 将 讨论 以 下 主题 。 

DQ 主要 的 机 器 学 习 移动 应 用 程序 。 

口 重点 创新 领域 。 

口 利益 相关 者 的 机 会 一 一 移动 机 器 学 习 生 态 系 统 中 的 主要 利益 相关 者 在 做 什么 ? 


11.1 主要 的 机 器 学 习 移 动 应 用 程 友 


本 节 将 讨论 一 些 流行 的 移动 应 用 程序 ， 并 了 解 它们 在 移动 机 占 学 习 领 域 中 所 做 的 
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事情 。 
11.1.1 Facebook 


Facebook 开发 了 一 个 AI 平台 Caffe2Go。 通 过 此 工具 集 ，Facebook 最 初 希 望 回 用 户 
提供 丰 宇 的 AI 和 AR 体验 。 它 们 使 用 户 能 够 通过 设备 上 的 机 器 学 习 功 能 处 理 视 频 和 图 像 
并 执行 茶 些 任务 ， 而 不 必 将 这 些 视频 和 图 像 传 输 到 后 端 以 进行 复杂 的 图 像 和 视频 处 理 。 
他 们 的 样式 转换 工具 包 使 用 户 能够 采用 一 种 图 像样 式 的 艺术 特质 ， 并 将 其 应 用 于 其 他 图 
像 和 视频 。 


11.1.2 Google Maps 


Google 推出 了 TensorFlow Lite 和 ML Kit, 使 用 户 能 够 在 移动 应 用 程序 中 执行 移动 机 
右 学 习 。Google Maps 是 移动 机 器 学 习 的 经 典 示例 。 


11.1.3 Snapchat 


Snapchat 在 复 森 的 机 右 学 习 算 法 方面 进行 了 创新 ， 该 算法 能 够 感知 相机 招 摄 的 图 像 
上 的 脸 部 特征 。 这 些 算法 竹 试 学 习 脸 部 特征 ， 然 后 妾 试 创建 具有 关键 脸 部 特征 点 的 绽 版 。 
该 家 版 可 以 与 有 趣 的 图 形 放 在 一 起 ， 以 留 给 用 户 想 象 力 和 创造 力 的 发 挥 空 间 。 


11.1.4 Tinder 


Tinder 于 2012 年 推出 , 是 一 球 社 交 应 用 程序 , 可 促进 相互 感 兴趣 的 用 户 之 则 的 交流 。 
用 户 使 用 同 左 或 癌 右 滑动 来 选择 其 他 用 户 的 照 请 ， 并 可 能 与 它们 匹配 。Tinder 引入 了 乔 
能 照 卢 功 能 ， 可 以 利用 机 堪 学 习 算 法 来 捉 遍 用户 得 找 适 当 匹 配 项 的 能 力 。 此 功能 使 用 户 
可 以 痛 先 看 到 最 有 名 的 照片 ， 因 为 确 层 模型 会 通过 分 析 用 户 的 滑动 动作 ， 不 断 学 习 并 重 
新 排列 照片 。 


11.1.2 Netflix 


Netflix 使 用 机 器 学 习 为 用 户 提供 优质 的 流 媒体 体验 。 与 其 他 频道 相 比 ， 在 移动 设备 
中 查看 流 式 内 容 要 复杂 得 多 。Netflix 正在 实现 复杂 的 机 器 学 习 算法 ， 以 根据 查看 的 内 容 
预测 设备 的 网 络 带宽 、 缓 存 要 求 和 视频 适应 性 要 求 ， 改 善 和 增强 用 户 的 流 媒体 体验 。 
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11.1.6 Oval Money 


Oval Money 使 用 机 器 学 习 算 法 来 学 习 用 户 支 出 模式 , 以 便 回 最 终 用 户 建议 储蓄 选项 。 
它 能 够 识别 定期 重复 的 模式 并 识别 重复 付款 ， 以 帮助 用 户 节 省 资金 。 


11.1.7 lmprompDo 


ImprompDo 是 一 个 时 间 管 理应 用 程序 ， 用 于 学 习 用 户 行为 并 管理 等 办 事项 列表 。 它 
通过 学 习 用 户 的 行为 及 其 常规 时 间 表 、 所 处 的 位 置 等 获得 知识 ， 并 据 此 提示 用 户 在 最 佳 
时 间 参 加 竺 办 事项 列表 中 的 项 目 。 


11.1.8 Dango 


Dango 是 一 个 表情 符号 预测 器 应 用 程序 ， 可 为 对 话 的 上 下 文 提供 最 佳 的 表情 符号 
它 使 用 学 习 算法 来 了 解 不 同 的 情感 和 对 话 的 上 下 文 ， 从 而 提出 及 时 的 表情 符号 。 


11.1.9 Carat 
Carat 监视 看 手机 上 发 生 的 所 有 活动 ， 并 提供 了 建议 以 节省 电池 电量 。 
11.1.10 Uber 


Uber 使 用 机 器 学 习 技 术 来 帮助 估计 骑手 的 到 达 时 间 和 费用 。 它 还 可 以 向 驾驶 员 提 供 
详细 的 信息 和 地 图 ， 以 满足 预计 的 到 达 时 间 。 


11.1.11 GBoard 
Gboard 是 Google 推出 的 一 球 针 对 1OS 设备 和 Android 设备 的 虚拟 键盘 。 它 可 以 在 
用 户 实际 输入 之 前 ， 使 用 机 器 学 习 来 预测 用 户 想 要 输入 的 内 容 。 
11.2 主要 创新 领域 


以 下 各 市 详细 介绍 了 利用 机 颖 学 习 的 力量 进行 创新 的 一 些 业 务 领域 ,许多 参与 者 已 
经 在 这 方面 领先 。 
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11.2.1 个 性 化 应 用 


可 以 退 过 利用 移动 设备 提供 的 各 种 参数 来 了 解 用 户 行 为 ， 并 了 解 其 生活 模式 以 进行 
个 性 化 设置 ， 这 对 于 用 户 而 言 将 是 有 价值 的 。 当 同一 移动 应 用 程序 要 满足 三 泛 用 户 的 需 
求 时 ， 如 果 它 能 够 提供 最 适合 使 用 它 的 用 户 的 特定 功能 ， 那 么 它 将 具有 苗 要 的 价值 。 通 
过 使 用 机 硕 学 习 ， 可 以 将 这 种 高 级 个 性 化 功能 市 入 应 用 程序 。 


11.2.2 卫生 保健 


在 该 领域 中 存在 各 种 用 例 ， 它 们 有 助 于 记录 各 种 可 以 跟踪 、 学 习 和 使 用 的 健康 参数 ， 
以 提供 医疗 保健 方面 的 创新 ， 例 如 ， 可 以 基于 图 片 和 来 目 移 动 应 用 程序 的 声音 进行 医疗 
诊断 的 应 用 程序 。 

健身 跟踪 和 消费 者 保健 应 用 程序 可 以 通过 移动 应 用 程序 跟踪 个 人 定期 健康 和 健身 数 
据 ， 从 而 预防 各 种 与 生活 方式 有 关 的 疾病 。 

实际 上 ， 这 些 移动 应 用 程序 可 以 通过 警报 和 通知 来 更 改 用 户 的 行为 ， 并 使 其 通过 监 
视 其 生活 方式 来 采取 所 需 的 任何 操作 。 例 如 ， 程 序 可 能 建议 用 户 散 步 、 吃 药 和 有 上 甩 眼 。 


11.2.3 ”有 和 针对 性 的 促销 和 营销 


移动 应 用 程序 可 用 于 研究 用 户 行为 并 跟 踊 用 户 偏 好 ， 以 同 用 户 提 供 定 同 促销 。 可 以 
使 用 机 器 学 习 算法 来 分 析 收 集 的 大 多 数 用 户 信 息 ， 例 如 人 口 统 计 信 息 、 使 用 情况 统计 信 
轧 和 配置 文件 信息 ， 以 针对 要 为 特定 人 员 推 销 的 产品 或 服务 做 出 可 靠 的 预测 。 因 此 ， 商 
家 在 获得 这 种 预测 信息 之 后 ， 可 以 推出 针对 性 的 营销 和 广告 。 


11.2.4 人 秽 听 识 列 


移动 应 用 程序 可 以 识别 环境 和 用 户 所 处 情境 ， 并 修改 设备 的 音频 /视频 控件 ， 或 者 根 
据 用 户 的 喜好 播放 合适 的 音频 和 视频 。 


11.2.5 ”电子 商务 


具有 机 器 学 习 智 能 的 移动 应 用 程序 在 电子 商务 领域 中 己 经 具有 各 种 用 例 。 例 如 ， 零 
售 超 商 中 的 室内 导航 应 用 ， 可 以 大 大 提升 销售 业绩 。 
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© 注意 : 

室内 寻 航 (Indoor Navigation ) 涉及 建筑 物 内 导航 ( Navigation Within Buildings ) 。 
由 于 建筑 物 内 部 通常 不 存在 GPS 接收 功能 ， 因 此 在 需要 自动 定位 时 ， 可 以 使 用 其 他 定位 
技术 ,在 这 种 情况 下 ,经 常 使 用 Wi-Fi 或 无 线 电 信 标 ( Beacon ), 配备 低 功 耗 蓝牙 ( Bluetooth 
Low Enerey，BLE ) 来 创建 所 谓 的 室内 GPS (Indoor GPS ) 。 但 是 ,与 GPS 不 同 ， 它 们 
还 使 你 能 够 确定 实际 的 楼 层 高 度 。 大 多 数 应 用 程序 都 需要 一 种 室内 路 由 功能 ， 该 功能 可 
以 使 用 室内 导航 应 用 程序 精确 地 引 叶 人 们 穿 过 建筑 物 ， 并 以 这 种 方式 自动 确定 他 们 的 位 
置 ， 这 与 我 们 在 汽车 中 使 用 的 叶 航 系统 非常 相似 。 


在 许多 顶级 电子 商务 网 站 中 ， 当 购买 条 种 产品 时 会 提供 产品 推荐 ， 这 是 基于 用 户 浏 
希 历 史记 录 、 购 买 历史 记录 、 对 用 户 碍 询 内 容 的 理解 、 排 名 和 用 户 收藏 夹 ， 以 及 用 刀 状 
况 、 位 置 、 偶 好 和 约束 条 件 等 而 完成 的 。 

在 电子 商务 中 ， 超 势 预测 和 根据 观察 到 的 起 势 立即 采取 措施 在 销售 中 发 挥 看 巨大 作 
用 。 机 需 学 习 算法 可 以 有 效 地 调整 两 者 之 间 的 兰 距 。 


11.2.6 ”财务 管理 


机 禹 学 习 已 经 应 用 于 财务 管理 的 每 个 阶段 ， 例 如 ， 用 户 投资 组 合 管 理 、 其 诈 检 测 、 
交易 、 贷 葡 管 理 和 客户 服务 等 都 是 不 同 的 阶段 。 在 这 些 阶 段 中 ， 利 用 机 融 学 习 算法 ， 结 
合用 户 数据 和 配置 文件 ， 可 以 提供 无 数 为 客户 提供 不 同 服务 的 机 会 。 


11.2.7 ”游戏 与 娱乐 


当 游 戏 与 娱乐 和 机 器 学 习 结 合 在 一 起 时 ， 更 允 真 的 引人入胜 的 增强 虚拟 现实 可 以 为 
最 终 用 户 提 供 令 人 惊叹 的 个 性 化 游戏 和 娱乐 体验 。 

通过 机 器 学 习 ， 利 用 各 种 参数 例如 设备 功能 、 用 户 曾 选项 和 网 络 功 能 ) ， 服 务 所 
供 商 可 以 更 有 效 地 完成 内 容 管 理 、 视 频 流 和 内 容 呈 现 。 


11.2.8 企业 应 用 


如 今 ， 很 多 企业 原本 很 无 聊 (它们 重 在 日 常 管理 ) 的 应 用 程序 也 变 得 有 趣 起 来 ， 其 
至 颇具 生产 力 ， 因 为 这 些 应 用 程序 可 以 提供 对 企业 员工 的 新 认 知 ， 这 些 认 知 可 以 真正 帮 
助 企业 做 出 最 有 利 的 决策 ， 这 对 企业 非常 有 价值 ， 它 可 以 为 企业 节省 大 量 成 本 。 

企业 可 以 针对 特定 的 用 户 、 客 户 和 地 区 来 订 制 招聘 、 时 间 管 理 、 运 营 和 资本 支出 、 
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差 旅 和 销售 流程 等 计划 ， 利 用 庞大 的 企业 数据 ， 并 应 用 机 器 学 习 算 法 来 获得 有 用 的 即时 
预测 。 


11.2.9 房地产 


强大 的 可 视 化 软件 将 机 器 、 神 经 网 络 和 增强 现实 结合 在 一 起 ， 可 以 使 客户 对 他 们 的 
梦想 家 园 达到 可 视 化 并 根据 自己 的 喜好 动态 建 模 房屋 ， 从 而 极 大 地 帮助 房地产 行业 。 

宜家 已 经 推出 了 一 款 名 为 KEA Place 的 应 用 程序 ， 该 应 用 程序 使 用 户 可 以 直观 地 看 
到 自己 所 选择 的 家 具 与 房屋 的 适 配 效果 ， 其 网 址 如 下 。 


https://itunes.apple.com/us/app/ikea-place/1d1279244498?mt=8 


同样 ，Azati 软件 公司 的 图 像 建 模 应 用 程序 使 用 户 可 以 用 其 他 选择 人 疹 换 邱 现 有 的 墙纸 
等 ， 从 而 使 用 户 在 打算 购买 或 装饰 房间 时 立即 查看 到 选择 的 效 宋 ， 其 网 址 如 下 。 


https://azati.ay 


11.2.10 ”农业 


现在 ， 已 经 可 以 通过 移动 应 用 程序 为 农民 提供 各 种 解雇 方案。 例如， 可 以 分 析 通 过 
镶 能 手机 捕获 的 土壤 和 植物 的 图 像 ， 以 提供 有 关 土 壤 恢 复 技术 、 除 章 技 巧 、 植 物 健康 控 
制 等 方面 的 有 用 见解 。 这 些 图 像 可 以 在 各 种 参数 上 进行 分 析 ， 例 如 土壤 缺陷 、 植 物 病 由 
害 、 缺 陷 和 土壤 中 的 养分 缺乏 等 。 在 移动 设备 上 应 用 机 融 学 习 算 法 所 市 来 的 可 能 性 是 无 
限 的 ， 可 以 扩展 到 农业 生产 的 所 有 方面 ， 以 帮助 提高 作物 产量 。 


11.2.11 ”能源 


能 源 行业 也 是 一 个 非常 适用 于 机 絮 学 习 的 行业 ， 它 可 以 市 约 大 量 的 能 源 文 出 ， 从 而 
保护 环境 ， 并 帮助 我 们 实现 绿色 环保 。 

例如 ， 可 以 基于 用 户 的 到 好 和 可 用 性 进行 控制 的 支持 机 器 学 习 的 智能 家 大 (可 以 通 
过 移动 应 用 程序 进行 跟 中 ) 将 为 每 个 家 尾 节 约 大 量 能 源 。 

无 人 驾驶 汽车 可 以 通过 优化 器 线 并 由 多 人 沿 看 同一 条 器 线 行驶 来 优化 同一 辆 车 的 利 
用 率 ， 随 时 调节 速度 和 能 源 消 耗 ， 从 而 节省 燃油 。 

机 妖 学 习 还 可 用 于 乔 能 电网 及 其 维护 中 ， 它 可 以 预测 故障 点 和 故障 发 生 的 时 间 ， 方 
便 维 护 工程 师 采 取 预 防 措施 。 
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局 


Fe 

智能 电网 ( Smart Grid ) 是 包括 各 种 操作 和 能 源 度量 的 电网 ， 包 括 智能 电表 、 智 能 电 
器 、 可 再 生 能 源 和 节能 资源 。 电 子 功率 调节 和 电力 生产 与 分 配 控制 是 智能 电网 的 重要 方 
面 。 这 是 一 个 使 用 数字 通信 技术 来 检测 局 部 用 电 变 化 并 对 之 做 出 反应 的 供电 网 络 。 


11.2.12 ”移动 安全 


机 器 学 习 可 用 于 脸 部 识别 工具 ， 该 工具 可 用 于 对 移动 设备 中 的 应 用 程序 的 使 用 进行 
号 份 验 证 和 授权 。 

微软 、 谷 歌 和 其 他 公司 正在 这 一 领域 广泛 开展 工作 ， 以 保护 其 操作 系统 以 及 这 些 操 
作 系 统 中 存在 的 移动 应 用 程序 免 受 安全 威胁 的 攻击 。 

谷歌 还 推出 了 一 种 称 为 对 等 组 分 析 (Peer Group Analysis) 的 机 器 学 习 算 法 。 有 些 应 
用 程序 会 在 非 必 需 的 情况 下 收集 数据 ， 或 者 在 无 任何 特定 需求 的 情况 下 发 送 数据 ， 机 器 
学 习 算 法 通过 跟 踊 这 些 应 用 程序 ， 可 以 有 效 识别 出 Google Play 商店 中 的 有 害 应 用 程序 。 

Zimperium 以色列 信息 安全 公司 ) 的 Z9 是 移动 设备 恶意 检测 软件 的 一 个 示例 ， 该 
软件 可 利用 机 器 学 习 来 实现 移动 安全 性 。 


11.3 利益 相关 者 的 机 会 


本 市 详细 介绍 了 机 器 学 习 领 域 的 主要 利益 相关 者 ， 他 们 对 机 絮 学 习 在 移动 设备 上 的 
成 功 与 推广 做 出 了 页 献 ， 甚 至 能 起 到 决定 性 的 作用 。 本 节 探 讨 了 这 些 利益 相关 者 为 移动 
机 才 学 习 做 出 贡献 的 方式 ， 以 及 他 们 正在 进行 的 创新 。 这 些 创新 自在 提高 人 们 对 移动 机 
句 学 习 的 接受 程度 ， 并 使 其 得 到 广泛 应 用 。 


11.3.1 硬件 制造 商 


硬件 是 构成 执行 机 器 学 习 移 动 应 用 程序 基础 的 平台 。 机 器 学 习 在 处 理 单元 和 内 存 方 

面 有 特定 要 求 ， 以 便 运 行 复杂 的 机 器 学 习 算 法 。 直 到 最 近 ， 硬 件 限 制 都 是 促使 大 多 数 机 

器 学 习 处 理 要 在 没有 处 理 单 元 或 内 存 限 制 的 后 端 服 务 器 中 进行 的 原因 之 一 。 但 是 现在 ， 

大 多 数 设 备 制 造 商 都 在 进行 突破 性 的 创新 ， 使 移动 硬件 也 适用 于 运行 机 器 学 习 应 用 程序 。 

DD 苹果 公司 已 经 设计 并 构建 了 神经 引擎 作为 其 iPhone X 主 忆 上 请 组 的 一 部 分 ， 以 执 
行 复杂 的 机 器 学 习 驱 动 的 图 像 处 理 。 


面向 移动 设备 的 机 器 学 习 


在 Pixel 2 设备 中 ， 人 谷歌 还 构建 了 可 满足 机 器 学 习 需 求 的 定制 芯片 组 。 

华为 的 Mate 10 还 内 置 了 神经 网 络 处 理 单 元 。 

ARM 已 经 启动 了 一 个 旨 在 创建 AI 驱动 的 智能 必 片 的 项 目 ， 该 必 片 将 使 移动 设 
备 即 使 在 离线 时 也 可 以 继续 运行 机 器 学 习 算 法 ， 这 将 减少 数据 流量 ， 加 快 处 理 
速度 ， 并 节省 电池 电量 。 

高 通 公司 还 与 ARM 合作 生产 下 一 代 移 动 设备 ， 使 机 器 学 习 算法 能 够 高 效 运行 。 


11.3.2 ”移动 操作 系统 供应 丙 


1OS 和 Android 等 移动 操作 系统 以 及 Microsoft Windows Mobile 都 可 以 满足 在 移动 设备 
上 运行 机 器 学 习 算 法 的 需求 。 各 种 功能 已 合并 到 操作 系统 本 身 中 ， 以 文 持 移动 机 器 学 习 。 


11.3.3 第 三 方 移 动机 器 学 习 SDK 提供 商 


如 前 文 各 间 所 述 ， 有 各 种 可 用 的 SDK 可 以 帮助 程序 员 创 建 移动 机 器 学 习 程 序 。 


加 


TensorFlow Lite。 
Caffe2Go。 

(Core ML _。 

ML Kit。 

Fnitz 


前 面 各 章 己 经 介绍 过 这 些 SDK 的 高 级 架构 ， 并 且 还 使 用 上 述 SDK 编写 了 面 同 移动 


设备 的 机 响 学 习 应 用 程序 示例 。 
以 下 所 有 领域 都 有 机 会 因为 获得 移动 机 器 学 习 技 术 的 支持 而 改善 。 


束 像 混合 移动 应 用 程序 开发 一 样 ， 也 有 一 种 方法 可 以 进行 混合 机 器 学 习 模 型 的 
开发 ， 并 采用 通用 语言 来 开 肥 这些 机 髓 学 习 蛋 型 。 

在 模型 部 缆 和 实时 机 右 学 习 模 型 的 升级 方面 仍然 存在 许多 问题 。 

在 监控 机 器 学 习 模 型 的 性 能 和 使 用 方面 ， 仍 然 有 很 多 事情 需要 改进 。 

要 在 这 些 SDK 中 支持 众多 的 机 器 学 习 算 法 ， 仍 需要 做 很 多 工作 。 

目前 的 主要 应 用 是 仅 通 过 移动 设备 进行 模型 的 预测 和 使 用 。 部 分 应 用 程序 也 文 
持 在 移动 设备 上 进行 训练 。 


11.3.4 ”机 器 学 习 移 动 应 用 程序 开发 人 员 


作为 移动 应 用 程序 开发 人 员 ， 他 们 面前 有 巨大 的 机 会 来 创建 该 领域 的 突破 性 创新 型 
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解决 方案 。 如 前 文 所 述 ， 在 移动 设备 上 应 用 机 需 学 习 算法 所 市 来 的 可 能 性 是 无 限 的 ， 其 
实现 方法 也 可 以 人 简化。 如果 开 发 人 员 理 解 机 器 学 习 算 法 的 基本 概 仿 ， 精 通 移动 应 用 程序 
开 及 ， 则 可 以 将 其 用 于 解决 天 键 问 题 并 将 价值 驱动 型 创新 市 给 最 终 用 户 。 


11.4 小 全 


本 章 详细 阐述 了 机 器 学 习 在 移动 领域 的 未 来 ， 以 及 它 将 如 何 对 用 户 有 用 。 我 们 还 讨 
论 了 使 用 机 器 学 习 的 不 同 移动 应 用 程序 ， 包 括 Facebook、Netflix 和 Google Maps 等 。 

我 们 还 讨论 了 各 种 业务 领域 如 何 使 用 机 器 学 习 应 用 程序 ， 以 及 使 用 移动 应 用 的 机 器 
学 习 领 域 的 利益 相关 者 所 面临 的 各 种 机 遇 。 


附录 人 ”问题 与 答案 


在 本 附录 中 ， 将 介绍 各 章 无 法 渭 冀 的 概念 和 要 点 ， 但 是 这 些 概 念 和 要 点 对 于 全 和 面 理 


解 和 学 习 面 回 移动 设备 的 机 器 学 习 全 天 重要 。 我 们 将 设想 你 可 能 思考 过 的 问题 ， 并 符 试 
提供 与 该 领域 相关 的 问题 的 答案 。 


A.1 常见 问题 解答 


我 们 会 将 常见 问题 解答 分 为 3 个 基本 部 分 。 

DD 第 一 部 分 将 研究 与 数据 科学 、 机 器 学 习 等 相关 的 本 质 上 更 为 通用 的 问题 。 
口 第 二 部 分 将 研究 与 不 同 的 移动 机 右 学 习 框 架 有 关 的 特定 问题 。 

口 第 三 部 分 也 是 最 后 一 部 分 将 研究 与 移动 机 占 学 习 项 目 实现 相 关 的 特定 问题 。 


A.1.1 数据 科学 


J 


本 市 将 回答 一 些 与 数据 科学 及 其 用 途 有 关 的 问题 。 

1. 什么 是 数据 科学 ? 

数据 科学 (Data Science) 是 从 数据 中 提取 相关 见解 的 科学 。 它 是 许多 领域 的 前 沿 珊 
例如 数学 、 机 器 学 习 、 计 算 机 编程 、 统 计 建 模 、 数 据 工程 和 可 视 化 、 模 式 识别 和 学 


、 不 确定 性 建 模 、 数 据 仓 库 和 云 计算 。 探 索 这 些 领 域 所 需 的 技能 包括 工程 、 数 学 、 科 
、 统 计 和 学、 编程、 创造 力 和 数据 保存 以 及 维 扩 。 


2. 数据 科学 可 应 用 于 哪些 领域 ? 
数据 科学 可 用 于 人 工 智 能 (Artificial Intelligence，AI)〉 和 机 器 学 习 。 它 将 求解 复杂 的 


数据 问题 ， 为 企业 市 来 人 类 无 法 察觉 的 见解 (Insight) ， 企 业 应 用 这 些 见 解 可 能 获得 巨大 
的 收益 。 数 据 科 学 揭示 了 与 业务 相关 数据 和 有 用 数据 之 间 的 未 知 天 联 。 


3. 什么 是 大 数据 ? 
大 数据 (Big Data) 通 营 是 指 包 含 的 数据 集 的 大 小 超出 了 常用 软件 工具 捕获 、 管 理 和 


处 理 的 能 力 。 
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大 数据 的 特征 是 Gartner 公司 在 2001 年 提出 的 以 下 3 个 V。 

口 数量 (Volume) : 数据 量 巨 大 且 不 断 增加 。 

D 速度 《Velocity) : 数据 累积 迅速 并 且 不 断 增 加 。 

口 ”多样 性 (Variety) : 捕获 的 特征 /特性 的 数量 庞大 并 且 与 日 俱 增 。 

@@ 注意 : 

Gartner 公司 在 2012 年 的 定义 中 写 道 : “大 数据 是 高 容量 、 高 速度 和 /或 丰富 多 样 的 
信息 资产 ， 它 们 需要 新 的 处 理 形式 以 实现 增强 的 决策 制定 、 见 解 发 现 和 流程 优化 。” 

大 数据 可 以 包括 大 数据 系统 、 大 数据 分 析 和 大 数据 集 。 

4. 什么 是 数据 挖掘 ? 

数据 挖掘 是 检查 大 型 现 有 数据 集 并 从 中 提取 有 用 见解 的 过 程 。 

5. 数据 科学 与 大 数据 之 间 存 在 何 种 关系 ? 

数据 科学 不 一 定 涉及 大 数据 ， 但 是 数据 的 规模 日 益 扩 大 这 一 事实 使 大 数据 成 为 数据 
科学 必须 考虑 的 重要 方面 。 

6. 什么 是 人 工 神经 网 络 ? 

人 工 神经 网 络 (Artificial Neural Network，ANN ) 是 受 构成 动物 大 脑 的 生物 神经 网 络 
启发 的 计算 系统 。 这 些 系 统 没 有 使 用 特定 的 任务 规则 进行 编程 ， 而 是 通过 考虑 示例 而 不 
进行 编程 来 执行 任务 ， 例 如 图 像 识 别 。 为 了 识别 玫瑰， 它 通 过 学 习 而 不 是 通过 编程 来 了 
解 玫瑰 的 特征 ， 以 将 样本 定义 为 玫瑰 。 

7. 什么 是 Al? 

AI 是 指 通 过 机 器 模拟 人 脑 的 功能 。 这 是 通过 创建 可 以 体现 人 类 智能 的 ANN 来 实现 
的 。AI 机 器 执行 的 主要 人 工 智能 包括 逻辑 推理 、 学 习 和 自我 纠正 。 这 是 一 个 非常 复杂 的 领 
域 , 要 使 本 质 上 不 聪明 的 机 器 思考 并 像 人 类 一 样 操作 , 就 需要 大 量 的 计算 能 力 和 数据 输入 。 

AI 分 为 两 部 分 。 

口 广义 AI: 使 机 器 在 广泛 的 领域 内 变 得 智能 ， 类 似 于 人 类 的 思维 和 推理 。 虽 然 目 

前 仍然 没有 实现 这 一 目标 ， 但 许多 研究 活动 都 已 经 开始 。 
DD 狭义 AI: 使 机 器 在 特定 领域 变 得 智能 ， 例 如 数字 识别 和 下 棋 。 目 前 ， 在 部 分 领 
域 ，AI 已 经 取得 远 超人 类 的 成 绩 。 例 如 ，AI 已 经 能 够 轻松 战胜 人 类 顶尖 棋 手 。 
8. 数据 科学 、 人 工 智 能 和 机 器 学 习 如 何 相互 关联 ? 
以 下 是 关于 数据 科学 、 人 工 智 能 和 机 器 学 习 之 间 如 何 精确 关联 的 有 趣 且 重 要 的 信息 。 
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口 AI: 这 个 领域 正在 试图 人 为 地 模仿 人 类 的 智慧 。 正 如 人 类 能 够 看 到 、 观 察 
的 数据 并 做 出 决定 一 样 ，AI 技术 也 正在 通过 机 器 进行 尝试 。 这 是 一 个 非常 广阔 
的 区 域 。 访 技术 仍 在 发 展 中 。 对 于 人 类 来 说 可 以 轻松 完成 的 小 任务 ， 通 过 AI 完 

口 机 器 学 习 : 人 工 智能 的 子 集 。 狭 义 的 机 器 学 习 仅 关 注 特 定 的 问题 领域 。 该 技术 
具有 现实 用 例 的 实现 。 它 是 AI 与 数据 科学 之 间 的 连接 纽带 。 

口 数据 科学 : 这 是 数据 研究 和 从 中 提取 信息 的 领域 。 它 可 以 使 用 机 器 学 习 来 分 析 
数据 、 大 数据 等 ， 它 们 之 间 的 关系 如 图 A-1 所 示 。 
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图 A-1 


原 文 译 文 
Artificial Intelligence 人 工 智能 
Machine Leaming 机 器 学 习 
Data Science 数据 科学 
Deep Leaming 深度 学 习 


A.1.2 机 器 学 习 框 架 


本 节 将 介绍 本 书 中 已 经 详细 讨论 过 的 一 些 机 器 学 习 框 架 ， 以 及 未 仔细 研究 的 机 器 学 
习 框 架 ， 这 里 仅 给 出 一 些 指 导 信 息 。 

1. Caffe2 

口 来 自 Facebook 的 Caffe2 是 本 书 中 未 讨论 的 关键 移动 机 器 学 习 框 架 之 一 。 开发 人 
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员 可 以 从 以 下 地 址 获得 更 多 详细 信息 。 
https://caftfe2.ay 


Caffe2 是 一 个 深度 学 习 框 架 ， 它 提供 了 一 种 简单 而 直接 的 方法 来 进行 深度 学 习 
实验 ， 并 充分 利用 了 社区 对 新 模型 和 算法 的 页 南 

原始 的 Caffe 框架 对 于 大 规模 产品 用 例 很 有 用 ， 万 其 是 其 天 与 伦比 的 性 能 和 经 过 
良好 测试 的 C++ 代码 库 。 

Caffe2 是 对 原始 Caffe 框架 的 多 项 改进 版 本 。 

要 理解 并 开始 使 用 该 框架 编写 示例 不 是 一 件 易 事 ， 它 的 学 习 曲 线 非 常 陡 幅 。 


sclkit-learn 


scikit-learn 是 最 著名 的 机 器 学 习 程 序 包 之 一 , 它 还 提供 了 许多 当 见 机 器 学 习 算法 

的 有 效 实 现 版 本 。 

虽然 它 不 是 面 同 移动 设备 的 机 器 学 习 包 。 但 是 ， 开 发 人 员 可 以 使 用 转换 工具 将 

使 用 scikit-leam 创建 的 模型 转换 为 Core ML 和 TensorFlow Lite 模型 ， 并 直接 在 

移动 应 用 程序 中 使 用 。 

scikit-leam 提供 了 跨 机 器 学 习 算 法 和 非常 全 面 的 支持 文档 , 并 且 具 有 非 章 相似 且 

形式 统一 的 API 实现 。 

scikit-learn 的 学 习 曲 线 较为 平 消 ， 使 用 它 实 现 和 扩展 模型 都 非常 容易 。 

scikit-leamn 最 初 由 David Cournapeau 于 2007 年 作为 Google Summer of Code 项 目 

开发 。 后 来 ，Matthieu Brucher 加 入 了 该 项 目 ， 并 开始 将 其 用 作 论 文 工 作 的 一 部 

分 。2010 年 ，INRIA 参与 进来 ， 并 于 2010 年 1 月 下 旬 发 布 了 第 一 个 公开 发 行 版 
(v 0.1 beta) 。 该 项 目 目前 有 30 多 个 活跃 的 参与 者 ， 并 已 获得 INRIA、Google、 

Tinyclues 和 Python 软件 基金 会 的 赞助 。 

scikit-leam 通过 Python 中 的 一 致 接 口 提 供 了 一 系列 监督 学 习 和 无 监督 学 习 算 法 。 

它 是 根据 简化 的 BSD 许可 进行 许可 的 ， 并 在 许多 Linux 发 行 版 中 分 发 ， 从 而 玛 

励 了 学 术 和 商业 用 途 。 

该 库 基于 SciPy 构建 ， 所 以 必须 先 安 装 该 库 ， 然 后 才能 使 用 scikit-learn。 


TensorFlow 


TensorFlow 是 一 个 用 于 快速 数值 计算 的 开源 库 。 它 是 由 Google 创建 和 维护 的 ， 
并 根据 Apache 2.0 开源 许可 发 布 。 尽 害 可 以 访问 故 层 C++ API， 但 该 API 实际 
上 使 用 的 是 Python 编程 语言 。 

TensorFlow 有 一 种 针对 移动 设备 的 独立 版 本 ， 我 们 己 经 详细 介 绍 了 该 版 本 ， 并 
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在 本 书 的 实际 动手 练习 中 使 用 了 它们 。 

可 以 使 用 在 TensorFlow 中 创建 的 模型 并 将 其 转换 为 用 于 移动 的 TensorFlow 和 
TensorFlow Lite 的 模型 ， 并 在 移动 应 用 程序 中 使 用 。 

TensorFlow 设计 用 于 研发 和 生产 系统 。 它 可 以 在 单个 CPU 系统 和 GPU 上 运行 ， 
也 可 以 在 移动 设备 或 数 自 台 机 器 的 大 规模 分 布 式 系统 上 运行 。 

在 数学 上 , 张 量 (Tensor) 是 n 维 向 量 。 它 可 以 用 来 表示 n 维 数据 集 。 流 (Flow) 
是 指 图 ， 该 图 绝对 不 能 是 循环 的 ， 并 且 图 中 的 每 个 节点 都 代表 一 个 操作 ， 例 如 
加 法 、 减 法 等 。 每 个 操作 都 会 导致 形成 新 的 张 量 。 

瑟 量 流 文 持 并 行 评估 每 个 节点 ， 因 此 不 会 像 在 串 行 模式 中 那样 等 每 节点 评估 ， 
从 而 产生 浪费 时 间 的 空 用 等 行 。 

TensorFlow 人 允许 用 户 利 用 并 行 计算 设备 更 快 地 执行 操作 。 


Core ML 


Apple 在 2017 年 全 球 开发 者 大 会 (WWDC) 上 发 布 了 Core ML， 并 于 今年 更 新 
为 Core ML 2。 值 得 一 提 的 是 ，Core ML 使 开发 人 员 能 够 将 机 器 学 习 模 型 集成 到 
iOS 和 MacOS 应 用 程序 中 。 这 是 该 领域 的 第 一 次 重大 笠 试 ， 最 初 ， 开 发 人 员 确 
实 出 于 某 些 原因 而 喜欢 它 。 

Core ML 支持 各 种 机 器 学 习 模 型 ， 包 括 神经 网 络 、 树 集成 、 支 持 同 量 机 和 广义 
线性 模型 .Core ML 需要 Core ML 模型 格式 ( 融 有 .mlmodel 文件 扩展 名 的 模型 )。 
Apple 还 提供 了 转换 研 ， 可 将 在 其 他 几 个 库 中 创建 的 模型 转换 为 Core ML 格式 。 
在 本 书 中 使 用 这 些 转换 器 时 ， 我 们 发 现 这 些 转换 器 非常 易于 使 用 ， 并 且 可 以 与 
大 多 数 著名 的 现 有 机 器 学 习 库 一 起 使 用 。 

Apple 还 提供 了 一 些 已 经 采用 Core ML 模型 格式 的 流行 的 开放 源 代 码 模型 ， 可 
以 直接 下 载 这 些 模型 并 将 其 用 于 构建 我 们 的 应 用 程序 。 

Core ML 针对 移动 设备 上 的 性 能 进行 了 优化 ， 从 而 最 大 限度 地 减少 了 内 存 占用 
和 功 耗 。 严 格 在 设备 上 运行 还 可 以 确保 用 户 数 据 的 安全 ， 即 使 没有 网 络 连 接 ， 
应 用 程序 也 可 以 运行 。 

Core ML 的 最 大 优点 是 使 用 非常 简单 。 只 需 几 行 代 人 码 就 可 以 帮助 用 户 集成 完整 
的 机 器 学 习 模 型 。 目 Core ML 发 行 以 来 ， 大 量 的 创新 项 目 都 在 使 用 它 。 但 是 ， 
Core ML 的 功能 存在 局 限 性 。 

Core ML 只 能 帮助 用 户 将 经 过 预 训 练 的 机 器 学 习 模 型 集成 到 你 的 应 用 中 。 因 此 ， 
这 意味 看 用 户 只 能 进行 预测 ， 无 法 进行 模型 训练 。 

事实 证 明 ， 到 目前 为 止 ，Core ML 对 开发 人 员 非 常 有 用 。2018 年 WWDC 上 宣 
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布 的 Core ML 2 应 该 可 以 使 用 称 为 量化 (Quantization ) 和 批量 预测 (Batch 
Prediction) 的 技术 将 推理 时 间 缩 得了 30%。 


A.1.3 ”移动 机 器 学 习 项 目 实现 


在 本 节 中 将 讨论 任何 机 器 学 习 项 目 实现 者 在 着 手 进 行 项 目 之 前 都 会 想到 的 一 些 基本 
问题 。 

1. 在 开始 项 目 之 前 需要 考虑 哪些 高 级 重要 项 目 ? 

以 下 是 在 开始 项 目 之 前 需要 解决 的 高 级 项 目 。 

口 根据 所 看 到 的 机 器 学 习 定 义 ， 对 问题 进行 清晰 的 定义 ， 并 为 任务 T、 绩 效 指标 P 
和 经 验 下 提供 清晰 的 输入 。 
具有 所 需 容 量 的 数据 可 用 性 。 
基于 移动 或 基于 云 的 移动 机 器 学 习 框 架 的 设计 决策 。 
正确 选择 适合 我 们 要 求 的 机 器 学 习 框 架 。 

2. 实现 移动 机 器 学 习 项 目 所 需 的 角色 和 技能 是 什么 ? 

可 为 移动 机 器 学 习 项 目 计 划 以 下 技能 和 角色 。 

口 ”领域 专家 : 提供 有 关 问 题 、 数 据 、 数 据 中 的 特征 、 业 务 上 下 文 等 的 输入 。 

口 机 器 学 习 数 据 科 学 家 : 分 析 数 据 ， 进 行 工 程 和 数据 预 处 理 ， 并 建立 机 器 学 习 

模型 。 

口 “” 移动 应 用 程序 开发 人 员 : 利用 移动 机 器 学 习 模 型 来 构建 移动 应 用 程序 。 

口 测试 人 员 : 测试 模型 以 及 移动 应 用 程序 。 

上 述 每 个 角色 都 可 以 通过 学 习 本 书 来 担任 ， 并 且 可 以 由 一 个 或 多 个 人 执行 ， 以 成 功 
实现 移动 机 器 学 习 项 目 。 

3. 在 测试 移动 机 器 学 习 项 目 时 ， 应 该 关注 什么 ? 

该 项 目 中 要 测试 的 关键 是 移动 机 器 学 习 模 型 ， 因 此 ， 该 模型 独立 于 移动 应 用 程序 ， 
它 需 要 进行 彻底 测试 。 

我 们 已 经 讨论 过 在 测试 机 器 学 习 模 型 时 应 该 重点 关注 的 事情 。 在 测试 模型 时 ， 需 要 
考虑 训练 数据 、 测 试 数据 和 交叉 验证 ， 还 需要 测量 所 选 模型 的 性 能 。 对 于 每 次 运行 的 清 
晰 记录 ， 都 要 保存 已 完成 的 结果 ， 以 便 清 楚 地 知道 输入 数据 的 特征 集中 的 变化 量 是 多 少 ， 
输出 的 变化 量 是 多 少 。 

测试 机 器 学 习 模 型 的 工程 师 应 清楚 地 理解 本 书 第 1 章 “ 面 癌 移动 设备 的 机 器 学 习 应 
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用 程序 ”中 解释 的 所 有 概念 ， 这 些 概念 与 正确 率 、 精 度 、 召 回 率 、 误 差 等 有 关 。 同 样 ， 
对 于 每 种 类 型 的 算法 ,误差 和 性 能 度量 指标 会 有 所 不 同 ， 在 测试 模型 时 应 适当 考虑 这 
些 央 系 。 测 试 机 器 学 习 模 型 本 里 就 需要 一 本 专著 来 讨论 ， 对 其 细节 的 讨论 超出 了 本 书 的 
范围 。 
4. 领域 专家 可 以 为 机 器 学 习 项 目 提供 什么 帮助 ? 
领域 专家 是 任何 机 器 学 习 项 目 成 功 的 关键 ， 其 价值 将 体现 在 以 下 几 个 方面 。 
口 “ 问 题 陈 述 的 定义 ， 有 助 于 正确 理解 对 于 解决 方案 的 期 望 。 
口 ”数据 准备 。 
> ”在 特征 工程 中 要 选择 哪些 好 的 候选 项 并 保留 为 预测 妖 属 性 ? 
> ”如 何 组 合 有 助 于 解决 问题 陈述 的 多 个 目标 /属性 ? 
> ”如 何 采 样 以 选择 测试 集 和 训练 集 ? 
> 帮助 进行 数据 清理 。 
口 “ 进 度 监控 和 结果 解释 。 
> 定义 所 需 的 预测 正确 率 。 
> 根据 取得 的 进展 ， 确 定 是 否 需 要 更 多 数据 /其 他 数据 。 
> te 确定 所 取得 的 进展 是 否 与 所 定义 的 问题 陈述 相 
从 ， 有 所 寻求 的 解决 方案 是 否 付 合 要 求 。 
U 入 纺 疯 新 并 所 网 漳 放 。 
5. 机 器 学 习 项 目 中 常见 的 陷阱 是 什么 ? 
以 下 是 在 机 器 学 习 项 目 中 各 见 的 一 些 陷 阱 。 
口 目标 不 切实 际 、 问 题 定义 不 明确 、 没 有 适当 的 目标 。 
口 数据 问题 。 
> ”数据 不 足 ， 无 法 建立 预测 模式 。 


> ”预测 变量 属性 选择 不 正确 。 
> ”数据 准备 有 问题 。 
> ”数据 标准 化 问题 一 无 法 跨 数 据 集 标准 化 数据 。 


> ”使 用 有 偏差 的 数据 来 求解 问题 。 
口 、 机 器 学 习 方 法 选择 不 当 。 

> ”选择 的 机 器 学 习 方 法 不 适合 问题 陈述 的 定义 。 

> ”不 尝试 替代 算法 。 
口 ”放弃 太 早 。 这 种 情况 经 常 发 生 。 如 果 工 程 师 没有 看 到 初始 结果 ， 并 且 无 法 进行 
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各 种 排列 和 各 种 相关 因素 的 组 合 ， 并 且 对 结果 进行 系统 的 记 账 ， 则 往往 会 失去 


继续 进行 的 兴趣 。 如 果 在 适当 的 记录 保持 下 进行 连续 性 /方法 性 研究 并 答 试 各 种 
可 能 性 ， 则 可 以 轻松 解决 机 器 学 习 问 题 。 


A.1.4 安装 


本 节 将 介绍 用 于 创建 本 书 程序 的 工具 和 SDK 所 需 的 不 同安 装 过 程 。 

1. Python 

本 书 使 用 了 Python 来 创建 机 器 学 习 模型 ， 因 此 ， 必 须知 道 如 何在 系统 中 安装 Python 
来 学 习 实 际 示 例 。 要 安装 Python， 可 以 前 往 。 

https://www.python.org/downloads/ 

它 将 显示 你 要 下 载 的 最 新 版 本 ， 下 载 安 装 程序 并 进行 安装 。 

在 Windows 中 安装 时 , 它 将 询问 是 否 将 Python 添加 到 路 径 环 境 变 量 中 。 选 中 相应 的 
复 选 框 即 可 自动 执行 此 操作 ， 和 否则 需要 手动 将 其 添加 到 路 径 变 量 中 。 

要 检查 计算 机 上 是 否 安 装 了 Python， 请 转 到 命令 提示 符 或 终端 ， 然 后 输入 python， 
它 应 该 显示 Python 提示 符 ， 耕 则 ， 如 果 已 经 安装 到 驱动 占 ， 则 需要 设置 它 。 

2. Python 依赖 项 

默认 情况 下 ，Python 将 随 附 pip 软件 包 管 理 器 ， 可 以 使 用 pip 进行 Python 依赖 项 的 
安装 ， 其 语法 如 下 。 

Pip install package name 


有 关 可 用 软件 包 的 更 多 信息 ， 可 以 访问 。 

https://pypi.org/project/pip/ 

本 书 在 各 上 自 的 章节 中 均 给 出 了 所 有 依赖 项 的 安装 命令 。 

3. Xcode 

首先 ， 在 Apple 中 创建 一 个 开发 人 员 账 户 ， 然 后 通过 访问 以 下 地 址 登录 a 到 用 户 的 账户 。 
https://developer.apple.com/ 


单 击 Downloads 〈 下 载 ) 并 向 下 滚动 ， 搜 索 9.4 版 本 以 上 的 最 新 Xcode， 然 后 单 击 下 
载 。 该 操作 下 载 的 是 XZIP 文件 。 将 其 解压 缩 并 拖 动 到 应 用 程序 文件 夹 中 ， 然 后 将 其 安装 


附录 A 问题 与 答案 a 


在 Mac 计算 机 中 即 可 。 


A.2 参考 文献 


以 下 网 址 有 一 些 很 好 的 参考 资料 ， 它 们 可 以 提供 有 关 面 向 移动 设备 的 机 器 学 习 的 更 
多 实用 信息 。 


Machine Learning Mastery: https://machinelearnmemastery.com/ 
Analytics Vidhya: https://www.analyticsvidhya.com/ 

Fntz: https://fritz.ay 

ML Kit: https://developers.google.com/ml-kit/ 

TensorFlow Lite: https://www.tensorflow.org/lite/ 

Core ML: https://developer.apple.com/documentation/coreml?changes= 8 
Caffe2: https://caffe2.a1/ 


